NVIDIA

Overview

GPU 제조사이자 AI 컴퓨트 인프라의 사실상 표준. AI 시대의 인프라 핵심. AI 연구도 활발 — 특히 embodied AI와 agentic AI 방향에서 의미 있는 자체 연구 진행.

Key People

• Jensen Huang — CEO
• Jim Fan — Senior Research Scientist, AI Agents

Models

• Cosmos 3 Super — Cosmos 3 Super (64B, MIT 오픈 가중치). 2026-06-01 출시. 세계 최초 오픈 omnimodal physical AI foundation model. R-Bench #1 오픈 모델.
• Cosmos 3 Nano — 소형, 실시간 추론
• Cosmos 3 Edge (출시 예정) — 엣지 온디바이스
• Cosmos-H-Dreams — Cosmos-H-Dreams (Apache 2.0). 2026-07-22 출시. 수술 로봇 시뮬레이션용 action-conditioned world model; 로봇 명령으로 사실적인 수술 장면 생성; 물리 하드웨어 2일 대비 단일 GPU에서 40분에 600회 정책 롤아웃.

Research Streams

• Cosmos 3 (2026-06-01) — physical AI omni-model (세계 생성 + 추론 + 행동 통합). 20T 토큰 훈련. MoT 아키텍처. → Cosmos 3 Super
• Cosmos-H-Dreams (2026-07-22) — 수술 로봇을 위한 action-conditioned world model; 오픈소스 (Apache 2.0); NVIDIA Medical Physics Simulation 프레임워크의 일부 → Cosmos-H-Dreams
• Molt (2026-07-27, HF Daily #1, 605 upvotes) — NVIDIA NeMo의 PyTorch 네이티브 에이전트 RL 훈련 프레임워크. vLLM 롤아웃 + FSDP2 + Ray 비동기 큐. Megatron 기반 시스템과 동등한 성능을 복잡성 없이 달성. → Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning
• Project GR00T — 휴머노이드 로봇 foundation model
• CaP-X (2026-04, 오픈소스) — 물리 세계에서 살아있는 vibe agents (Jim Fan 팀)
• DrEureka — LLM이 로봇 스킬 훈련 코드를 작성
• Voyager — Minecraft 환경의 lifelong learning agent

Business Significance

• 모든 frontier lab의 컴퓨트 의존 — Anthropic, OpenAI, DeepMind, Meta 등
• OpenAI Broadcom 파트너십 (2026~)은 NVIDIA 의존 다변화 시도
• "warm GPUs" 모토로 인재 영입도 적극

Recent Activity

• 2026-07-27: Molt — PyTorch 네이티브 에이전트 RL 프레임워크 공개 (HF Daily #1, 605 upvotes) — NVIDIA NeMo가 Molt (arXiv 2607.21653)를 공개했다. 소형·연구자 친화적 에이전트 강화학습 훈련 프레임워크. 아키텍처: vLLM 롤아웃 엔진 + NeMo AutoModel 기반 단일 FSDP2 정책 액터 + Ray 비동기 큐로 분리된 조율. 핵심 설계 원칙: 정책 자체가 생성한 토큰으로만 훈련 (참조 데이터 또는 오프라인 데이터 제외) — 혼합 데이터 훈련 프레임워크의 분포 이동 아티팩트 방지. 성능: 훨씬 낮은 인프라 전문성으로 Megatron 기반 시스템과 동등한 성능 달성. github.com/NVIDIA-NeMo/labs-molt에서 이용 가능. 의의: NVIDIA NeMo가 에이전트 RL 인프라 분야에 직접 진입해 Ring-Zero (Ant Group, Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning)와 SEED (Tsinghua, SEED: Self-Evolving On-Policy Distillation for Agentic Reinforcement Learning)와 경쟁. PyTorch 네이티브 구조로 Megatron 전문성 없는 연구 그룹의 진입 장벽 낮춤. 605건 HF 업보트 = 최상위 수준의 실무자 공감. → Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning (source) (arXiv) (HuggingFace)

• 2026-07-22: Cosmos-H-Dreams 공개 — 수술 로봇 시뮬레이션용 오픈소스 world model — NVIDIA가 Cosmos-H-Dreams를 공개했다. 로봇 명령으로 사실적인 수술 장면 영상을 생성하는 action-conditioned world foundation model로, 물리 하드웨어 없이 수술 로봇 정책 훈련의 sim-to-real 전환을 가능하게 한다. HuggingFace (nvidia/Cosmos-H-Surgical-Simulator)에서 Apache 2.0으로 공개. NVIDIA Medical Physics Simulation 오픈소스 프레임워크의 일부로, Cosmos-H-Dreams와 클래식 물리 시뮬레이터 (NVIDIA Warp/Newton 엔진)를 결합. 성능: 단일 RTX PRO 6000 GPU에서 40분 안에 600회 정책 롤아웃 (물리적 벤치탑에서 2일 소요 대비). 시뮬레이션 충실도: 변형, 혈액, 연기, 형광 투시 이미지. 런칭 파트너: CMR Surgical, Johnson & Johnson MedTech, Medtronic. 의의: 수술 로봇 훈련은 실제 수술 데이터가 비싸고 위험하며 윤리적으로 제약되기 때문에 embodied AI에서 가장 어려운 영역 중 하나. Cosmos-H-Dreams는 이 영역에서 sim-to-real 전환을 현실적으로 만들고 값비싼 OR 장비 없는 학술 및 스타트업 그룹에 개방. → Cosmos-H-Dreams (source) (HuggingFace blog) (NVIDIA blog)

• 2026-06-17: ENPIRE — 실제 하드웨어에서의 에이전트 로봇 자기개선 — Jim Fan의 NVIDIA GEAR Lab (CMU, UC Berkeley 협업)이 ENPIRE를 발표했다. 8대의 실제 로봇으로 구성된 플릿이 논문 읽기, 가설 제안, 물리적 장면 초기화, 실험 실행, 결과 검증, 제어 코드 재작성을 루프 안에서 완전 자율 수행 — 인간 연구자 없이. 결과: contact-rich 작업(GPU 장착, 케이블 타이 묶기)에서 99% pass@8. 새로운 발견: 물리적 스케일링 법칙 — 8대의 병렬 로봇이 더 적은 로봇보다 초선형적으로 빠르게 정책을 개선. 실세계 물리적 조작에서 데이터-병렬 스케일링 법칙의 첫 실증. → ENPIRE: Agentic Robot Policy Self-Improvement in the Real World, Jim Fan (source) (arXiv)

• 2026-06-07: EgoScale — 1인칭 시각 인간 영상으로 휴머노이드 손재주 조작 훈련 — Jim Fan 팀이 22-DoF 정교한 손 (Sharpa Wave 촉각, Unitree H2 Plus 섀시)을 가진 휴머노이드가 모형 자동차 조립, 주사기 조작, 포커 카드 분류, 셔츠 접기를 수행하도록 훈련시켰다. 훈련 데이터: 20,000+ 시간의 1인칭 시각 인간 영상, 로봇 원격 조작 없음. 핵심 발견: 인간 영상 볼륨과 행동 예측 손실 간의 **로그-선형 스케일링 법칙 (R² = 0.998)**으로 실제 로봇 성공률을 직접 예측. Unitree G1에서 PICO 헤드셋으로 가상 환경 내 VR 원격 조작도 시연. 가중치, 코드, 사후 훈련 데이터셋, 평가 세트, 백서 오픈소스 공개. → Jim Fan (source)

• 2026-06-01: NVIDIA Cosmos 3 출시 — 세계 최초 완전 오픈 omnimodal physical AI foundation model. Cosmos 3 Super (64B, MIT 라이선스), Nano, Edge (출시 예정). R-Bench #1 오픈 모델. 20T 토큰 훈련 (1B 이미지, 400M 비디오). Cosmos Coalition 발족: Agile Robots, Black Forest Labs, Runway, Skild AI 등 글로벌 파트너십. → Cosmos 3 Super (source)

• 2026-04: CaP-X 오픈소스 공개 (Jim Fan) (source)

Strategic Position

• 컴퓨트 공급자 + AI 연구자 이중 역할
• 특히 embodied AI에 무게 — Project GR00T가 핵심
• AI 랩 대비 모델 자체보다 "에이전트가 환경에서 작동하기 위한 인프라" 강조

Related

• Jim Fan
• Embodied Agents
• Cosmos 3 Super
• Cosmos-H-Dreams — 수술 로봇 world model (7월 22일, Apache 2.0)
• Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning — 에이전트 RL 훈련 프레임워크 (7월 27일, HF Daily #1)
• Project GR00T 페이지 TBD