체화 에이전트 (Embodied Agents)

정의

물리 세계 또는 시뮬레이션 환경에서 perception 과 actuation 을 통해 행동하는 에이전트. 순수 텍스트 출력 LLM 과 달리 multi-modal perception API + actuation API + skill library 구조 필요.

왜 중요한가

• agents 매칭 (1.5x) × robotics 교차 — 본인 관심사 인접
• LLM 의 software 적용을 넘어선 next frontier
• 2026 핵심 흐름: NVIDIA Project GR00T, DeepMind robotics 연구

현재 수준 (2026-10-02)

로봇 노출 지수는 역량을 비용보다 훨씬 앞에 두며, 그 격차는 벤치마크가 아니라 수십 년 단위로 측정된다.

Anthropic의 What work can robots do? — Russell Legate-Yang, Maxim Massenkoff — 는 O*NET에서 가져온 약 7,594개 물리적 직무 과제(~900개 직업, ~19,000개 과제)를, 각 과제가 요구하는 환경 통제 수준을 기준으로 네 개 노출 등급(E0–E3) 으로 점수화했다 (source).

머리기사 숫자 두 개가 서로 반대 방향을 가리키는데, 그것이 바로 발견이다:

• 로봇은 물리적 과제의 74%를 수행할 수 있고, 이는 **미국 노동시간의 34%**에 해당한다. LLM까지 포함하면 노동시간 기준 직무 과제의 80%가 노출되어 있다.
• 로봇이 사람과 비용 경쟁력이 있는 것은 직무 과제의 0.3%다. 역사적인 연 3% 가격 하락률에서 10%에 도달하는 데 40년이 걸린다.

따라서 이 페이지에서 구현(embodiment)을 제약하는 것은 위의 모든 결과가 추적하는 역량 작업이 아니다 — 단위 경제성이며, 명시된 시간 척도는 역량 도약이 역량 곡선이 아니라 비용 곡선을 움직여야만 의미가 있을 만큼 길다. 저자들도 직접 그렇게 말한다: "Capabilities and costs are the biggest impediments to robot adoption", 어순은 아니지만 실질적으로 비용을 먼저 놓는다.

분포에 관한 발견은 역량 페이지가 보통 떨어뜨리는 부분이다. 노출이 가장 높은 직업인 택시 운전사는 0–3 척도에서 2.2점이고, 포장·하역 직군 고용은 2015년 이후 22% 감소했으며, 노출이 높은 노동자는 여성일 가능성이 20퍼센트포인트 낮고 학사 학위 보유 가능성이 55퍼센트포인트 낮다. 로봇 노출이 더 큰 직업은 지난 50년간 임금과 고용이 더 크게 감소했다 — 예측이라기보다 지수에 대한 소급적 검증이다.

저자들이 밝힌 유보 사항. "Predicting the pace of robot advances is difficult"; 노출 추정치는 "require many judgment calls"; O*NET 과제 서술은 "often terse, and omit details"; 비용 시나리오는 "apply the same cost decline...to every task"; 그리고 AI 기반 로봇이 "could leapfrog our scale and do work they cannot today" — 이는 40년이라는 수치를 조정하는 것이 아니라 무효화하는 조건이다. 점수화를 수행한 Claude의 모델 버전은 명시되지 않았으므로, 이 지수는 특정 모델에 대해 재현 가능하지 않다.

현재 수준 (2026-09-28)

일회성 언급 규칙에 따라 각자의 페이지 없이 여기에 기록하는 논문 셋 — 각각 이 페이지에 있는 기존 연구 갈래 안의 구성요소 결과이며, 페이지가 담아야 할 주장을 지닌 것은 없다.

• MemBodied — 이 주의 세 번째 기억 논문이자, 몸에 관한 유일한 것. 2609.28256 은 Vision-Language-Action 정책에 두 부분으로 된 고정 크기 에피소드 기억을 준다: 정책 호출을 가로질러 상호작용을 기록하는 연합 상태, 그리고 초기 장면의 압축된 표현을 보존하는 에피소드 앵커. 정책은 보존된 과거 관측 대신 그 기억에 조건화되는데, 그것이 요점이다 — 관측을 컨텍스트에 유지하는 것은 작동하지만 계속 커지는 컨텍스트와 추론 지연을 대가로 한다. 기억을 요구하는 RMBench 과제 다섯에서 무상태 정책 평균 성공률의 7.81×, 평범한 재귀 기억의 **2.98×**에 도달하고, 가장 강한 기억 증강 베이스라인을 추가 파라미터 10× 적게 쓰면서 **1.3×**로 이기며, 완전 관측 가능한 LIBERO-Long 스위트에서 90.6% 로 무상태 π₀ 대비 +5.4% 다. 왜 여기에 기록하는가: 이 위키는 앞선 며칠 동안 기억 아키텍처 논문 둘을 캡처했는데 — 질의를 모르므로 큐레이션을 미루는 JitMem, 발화자 귀속은 쓰기 시점에 만들어야 한다고 논하는 SpeakerMem-R1 — 둘 다 텍스트에 관한 것이다. MemBodied 는 이력이 물리적 상태인 곳에서의 같은 논증이고, 고정 크기 압축 쪽에 내린다: 연합 상태는 호출당 한 번 쓰이고 결코 커지지 않는다. 7.81×는 기억을 요구하도록 선택된 과제에서 무상태 베이스라인에 대비한 것이고, 그런 비교가 낼 수 있는 최대치에 가깝다. 완전 관측 가능한 스위트의 90.6% / +5.4% 가 더 전이 가능한 수치이며 훨씬 작다 (source)

• Spatial-Interactor — 상태 전이에 대한 감독으로서의 상호작용 궤적. 2609.23038 은 현재 VLM 공간 훈련이 속성과 관계에 대한 정적 질문을 묻기 때문에 상태 전이에 대한 감독을 거의 주지 않는 반면, 상호작용 궤적은 본질적으로 관측 → 행동 → 관측을 짝지운다고 논한다. 시뮬레이션과 실제 궤적에서 구축된 LSI-108K 위에서 3단계 커리큘럼 — L1 수동적 세계 상태 전이, L2 능동적 자기 상태 전이, L3 장기 궤적 — 으로 훈련하며, L1/L2 에는 SFT, L3 에는 On-Policy Distillation 을 적용해 구간 수준 전이 서술을 받은 교사가 학생의 on-policy chain of thought 를 감독한다. 여러 VLM 과 공간 벤치마크에서 일관된 향상이 보고된다. 초록에 절대 수치가 없다 — 벤치마크 점수도, 베이스라인도, 데이터셋 분할도 없다 — 그래서 효과의 크기가 읽히지 않으며, 이것이 페이지가 아니라 언급인 이유다 (source)

• PackLab — 빈 패킹에서 기하 휴리스틱을 이기는 MLLM, 수치 없이 보고됨. 2609.23784 는 패킹 궤적을 생성하고 물리적 결과를 확인하는 물리 기반 시뮬레이터, 닫힌 루프에서 객체를 고르는 것과 배치를 예측하는 것을 동시에 하는 패킹 특화 MLLM, 그리고 여러 난이도 수준의 벤치마크를 제공한다. 객체 집합과 컨테이너 구성에 걸쳐 기존 패킹 휴리스틱, RL 정책, 그리고 범용 MLLM 을 평균적으로 이긴다고 보고되며, 코드·모델·데이터셋·벤치마크가 github.com/Correr-Zhou/PackLab 에 공개되어 있다. "평균적으로"가 결과 서술 전부다 — 성공률도, 난이도별 분해도, 베이스라인 수치도 없으므로, 주장은 기록되고 정량화되지 않는다 (source)

현재 수준 (2026-09-06)

• RoboTok — 시연 데이터 병목의 답으로 수집이 아니라 검색을 (2026-09-02, 09-06 기록) — 2609.03199 는 웹을 시연 코퍼스로 다룬다: 질의로 주어진 사람 조작 영상에 대해 조작과 관련된 사람 시연을 인터넷 영상에서 검색해 정교 조작 정책 학습에 쓴다. 표현은 추정된 행위자 중심 좌표계의 3D 손 궤적으로부터 학습한 잠재 모션 공간이며, 덕분에 행동을 카메라 시점, 장면 외형, 행위자 가림을 넘어 비교할 수 있으면서도 인터넷 규모의 연속 색인이 가능할 만큼 조밀하다. 기존 로봇 데이터 검색 방식을 검색 벤치마크에서도, 하위 정책 성공률에서도 앞선다고 보고한다. 왜 페이지 없이 여기에 기록하는가: 논지는 EgoScale 이 반대편에서 편 것과 같다 — 사람 영상이 확장 가능한 감독 신호원이라는 것 — 다만 EgoScale 이 20,000 시간 이상을 가리지 않고 학습에 썼다면, 이쪽은 과제마다 열린 코퍼스에서 선별한다. 더 값싼 주장이고, 코퍼스가 커질수록 계속 성립하는 주장이다. 초록에 절대 수치가 하나도 없다: 검색 정밀도도, 성공률도, 코퍼스 규모도, 동일 예산에서 원격조작으로 수집한 데이터와의 비교도 없어 효과의 크기는 읽히지 않는다 (source)

• 2026-08-23 에 논문 두 편이 움직이는 것은 정책이 아니라 측정이며, 둘 다 과제 성공이 잘못된 숫자라고 말한다 — SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation (arXiv:2608.18701) 는 정책이 볼 수 있는 시각-촉각 관측을 전문가 시연 4,000건, 20 Hz 에 걸쳐 평가자 전용 유한요소 정답과 짝짓고, 과제가 완수되고 동시에 최대 변형이 허용 범위에 머물 때만 롤아웃을 세는 Deformation-aware Success Rate 를 정의한다. Diffusion Policy, π₀.₅, FastWAM 전반에서 분포 내 설정 12개 모두가 허용 범위를 위반한 성공 롤아웃을 포함하며 — 각 설정 성공의 0.7–24% 다. 설계를 바꿔야 할 두 번째 발견은 이것이다: 촉각을 더하면 분포 외 정책–스위트 비교 여섯 건 모두에서 성공률이 오르지만 DSR 은 다섯 건에서만 오르고, 분포 내에서는 이득이 엇갈린다 — "촉각을 사용할 수 있게 만드는 것만으로 효과적인 멀티모달 융합이 보장되지는 않는다." 나란히 Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning (arXiv:2608.18746) 는 JEPA 계열 잠재 세계 모델에 대해 decision-metric alignment — 목표 잠재까지의 유클리드 거리가 계획을 실제 진척 순서로 정렬하는가 — 라는 이름을 붙이고, 그것이 표현 품질에서 따라 나오지 않음을 보인다: DA-LeWM 은 프로브 점수가 비슷하게 유지된 채로 더 빨리 수렴하고 온라인 성공률이 더 높다. 진단 지표 두 개(Plan-Real Spearman, CEM-stage Spearman)를 제안하고, 인코더 왜곡·말단 롤아웃 오차·후보 마진을 좌우하는 양으로 지목한다. 둘은 스택의 양 끝에서 나온 같은 교정이다: 정책이 볼 수 없는 독립 채널(FEM 상태), 그리고 표현이 아니라 계획기의 실제 결정을 재는 지표. 어느 쪽도 초록에 절대 수치를 보고하지 않는다 (source)

• Zetta ζ — 하네스가 루프를 닫고, 정책은 고정된다 (2026-08-17, 08-21 기록) — Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence (arXiv:2608.16590) 는 베이스 정책을 건드리지 않은 채 코드 기반의 런타임 크리틱과 복구 스킬을 온라인으로 진화 시키며, 시간 척도가 분리된 세 루프가 이를 통제한다: 행동 주파수 통제, 롤아웃 수준의 크리틱·복구 제안, 검증 게이트를 통과한 스킬 갱신. LIBERO-Pro 90.8%, RoboCasa 93.6%, 11.1배 추론 속도 향상 을 보고하며, 두 성공률 모두 "현재 우리의 롤아웃 예산 하에서" SOTA 라고 명시된다 — 그 예산이 공개되지 않았고 두 수치 모두 거기 스코프가 걸려 있으므로 단서를 그대로 둔다. 전제는 역량이 아니라 주파수 논변이다: 기존 embodied 하네스는 오픈 루프 로 에피소드가 끝난 뒤에야 반추하는데, 물리적 상호작용은 오늘날의 대형 에이전틱 모델이 낼 수 있는 빈도를 넘어서는 결정을 요구한다 — 그래서 빠른 루프를 생성된 코드에 넣고 느린 모델이 그 코드를 쓴다. 이는 DarwinX: Evolving Agent Harnesses Through Natural Selection (arXiv:2608.07545) 패턴(하네스를 진화시키고 모델을 고정)이 소프트웨어에서 물리 제어로 건너온 것이며, 그 클러스터에서 하네스를 옹호하는 논거가 벤치마크 여유에 관한 것이 아닌 유일한 자리다. "Aha Moments" 와 제로샷 스킬 전이는 횟수도 대상 과제도 없이 단언된다 (source)

• Google DeepMind Gemini Robotics 2 (2026-07-28 / 2026-07-30) — 3종 모델: 휴머노이드 전신(다리, 몸통, 팔, 다지 손)을 하나의 학습된 정책으로 제어하는 VLA, 체화 추론 VLM, 그리고 온디바이스 VLA. Apollo 2 휴머노이드 전신 조작은 선반에서 집기 76.3%, 바닥에서 집기 45.7%. 22 자유도 SharpaWave 손의 정밀 손동작은 전구 풀기 92%, 쓰레기봉투 묶기 44%, 지퍼백 밀봉 40%, 전구 끼우기 36%, 쓰레받기 32%. On-Device 2 는 200 개 미만의 시연으로 몇 시간 안에 새 체화에 적응한다. 추론 계층이 행동 계층의 위험한 명령을 거부하는지, 물리적 가능성을 판단하는지, 불확실할 때 사람의 도움을 요청하는지 평가하는 오픈 벤치마크 ASIMOV-Agentic 과 함께 공개되었다. 의의: 정밀 손동작 편차가 이 분야의 현재 수준을 표 하나로 보여준다 — 전구를 빼는 일은 거의 해결되었고 끼우는 일은 아니며, 변형체는 맨 아래에 있다. 어느 계층이 배포되었는지도 함께 보라. 추론 모델은 Gemini API 로 공개되고 행동 모델 둘은 얼리 액세스 한정이다. → Gemini Robotics 2, Gemini Robotics ER 2 (source)

• GRANT / ORS3D — 체화의 목적함수가 된 스케줄링 (AAAI 2026 Oral; 2026-07-30 HF Daily 1위) — arXiv 2511.19430 은 병렬화 가능한 하위 과제를 동시에 돌려 총 완료 시간을 최소화하는 ORS3D 를 정의하고(전자레인지가 도는 동안 싱크대 닦기), ORS3D-60K(60K 복합 과제, 4K 장면) 위에서 스케줄링 토큰을 가진 체화 멀티모달 LLM 을 학습시킨다. Time Efficiency +30.53%, 3D grounding +1.38%. 의의: 비대칭이 요점이다 — 접지는 거의 움직이지 않고 스케줄링은 크게 움직인다. 행동당 신뢰도가 올라갈수록 다단계 물리 과제에 남는 여지는 지각이 아니라 순서다. → Cook and Clean Together: Teaching Embodied Agents for Parallel Task Execution (GRANT) (source)

• Mistral Robostral Navigate (2026-07-08) — 8B 로보틱스 내비게이션 모델. 단일 RGB 카메라와 자연어 프롬프트만 쓰고 깊이 센서도 LiDAR 도 없다. R2R-CE validation unseen 76.6% 달성 — 신규 SOTA(기존 최고 단일 카메라 대비 +9.7점, 최고 깊이·다중 카메라 대비 +4.5점). CISPO 온라인 RL 로 시뮬레이션 전용 훈련(+3.2%). 포인팅 기반 예측(이미지 좌표 → 목표 + 방향)이라 카메라 내부 파라미터 변화에 자연히 강건하다. 하드웨어 비종속. Mistral 의 첫 물리 AI 제품. 의의: 내비게이션의 sim-to-real 전이가 이제 RGB 만으로 실제 로봇에서 훈련한 깊이 센서 시스템을 이길 만큼 강해졌음을 보여준다. 배치의 하드웨어 문턱을 낮춘다. → Robostral Navigate (source)

• NVIDIA ENPIRE — 실제 하드웨어에서의 에이전틱 로봇 자기개선 (2026-06-17) ⚡ 지연 수집 — Jim Fan 의 NVIDIA GEAR Lab 이 CMU·UC Berkeley 와 함께 ENPIRE 를 공개했다. 실제 로봇 8대 플릿이 자체 연구 루프(논문 읽기 → 가설 수립 → 시행 → 검증 → 코드 재작성)를 자율 수행하며 인간은 루프에 없다. 접촉이 많은 과제에서 pass@8 99%. 새 발견: 물리적 스케일링 법칙 — 병렬 로봇 8대가 더 적은 대수보다 정책을 초선형으로 빠르게 개선한다. LLM 시대의 데이터 병렬 스케일링 패러다임이 스킬 획득을 넘어 실세계 물리 조작 연구로 전이된다는 첫 시연. EgoScale 의 루프를 닫는다 — EgoScale 은 1인칭 영상에서 스킬을 획득하고, ENPIRE 는 그것을 자율적으로 개선한다. → ENPIRE: Agentic Robot Policy Self-Improvement in the Real World, Jim Fan (source) (arXiv)

• NVIDIA EgoScale — 1인칭 영상으로 만든 정밀 조작 휴머노이드 (2026-06-07) ⚡ 신규 — Jim Fan 팀이 22-DoF 정밀 손을 가진 휴머노이드를 전부 2만 시간 이상의 1인칭 인간 영상만으로 훈련했다(로봇 원격조작 없음). 과제: 모형차 조립, 주사기 조작, 카드 분류, 셔츠 개기. 핵심 결과: 로그-선형 스케일링 법칙(R² = 0.998) — 인간 영상 분량 → 행동 예측 손실 → 실제 로봇 성공률. LLM 데이터 스케일링 패러다임이 정밀한 물리적 조작으로 직접 전이된다는 첫 강력한 실증. 가중치·코드·데이터셋·평가셋·백서 전부 오픈소스. → Jim Fan (source)

• NVIDIA Cosmos 3 (2026-06-01) ⚡ 신규 — 세계 최초 완전 오픈 omnimodal physical AI foundation model. 64B (Super), Nano, Edge. MoT 아키텍처: 세계 생성 + 물리 추론 + 행동 예측 통합. R-Bench #1 오픈 모델. MIT 라이선스. Cosmos Coalition (Agile Robots, Runway, Black Forest Labs 등). → Cosmos 3 Super (source)

• Gemini Robotics-ER 1.6 (2026-04-15) — Google DeepMind. 계기판 읽기 정확도 23%→93% (agentic vision 파이프라인). Boston Dynamics Spot 협업. 산업 현장 자율 점검 임계값 교차. Gemini API 공개. → Gemini Robotics ER 1.6 (source)

• CaP-X (2026-04) — NVIDIA Jim Fan 팀 오픈소스. "Vibe agents alive in the physical world". Robot arms + humanoids, auto-synthesize skill libraries. (source)

• Project GR00T — NVIDIA 의 휴머노이드 로봇 파운데이션 모델

• DrEureka — LLM 이 robot skill training code 작성 (Jim Fan 팀)

• Voyager — Minecraft 환경 평생 학습 에이전트

아키텍처 패턴

• No-gradient orchestration: LLM 이 "prefrontal cortex" 로 high-level reasoning, lower-level control 은 code-gen 으로 위임
• Skill library: 학습/생성한 스킬을 retrievable library 로 누적
• Perception + actuation API 분리 — 환경 추상화

열린 문제

• 시뮬레이션→실물 전이(sim-to-real)
• 실세계 RL 의 샘플 효율
• Skill library 의 generalization vs specialization 트레이드오프
• 물리 구동에서의 안전
• 멀티에이전트 협조
• 과제 성공은 물리적 상호작용 품질이 아니며, 둘을 뭉뚱그리는 벤치마크는 그 사실을 말해줄 수 없다. SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation (arXiv:2608.18701) 가 측정한 모든 정책 계열이 물체를 으스러뜨리는 성공을 만들어낸다; 결함은 정책이 관측할 수 없는 정답에 비추어야만 보인다. 완수만 채점하는 벤치마크는 이에 대해 침묵한다.
• 프로브가 잘 나오는 잠재 공간이 곧 계획 가능한 공간은 아니다. Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning (arXiv:2608.18746) 는 표현 품질과 MPC 가 실제로 소비하는 기하 구조를 분리하고, 전자가 그대로인 채 후자를 개선한다. 이 간극이 얼마나 널리 성립하는지는 측정되지 않았다.
• 순서 결정에 컴퓨트를 얼마나 배분할지를 표준적인 계층적 VLA 는 어디에서도 정하지 않는다. τ_0-VLA: a Hierarchical Robot Foundation Model with World-Model-Guided Test-Time Computation (arXiv:2608.16885) 는 각 서브태스크 선택이 단 한 번의 forward pass 로 내려지고 그래서 중대한 결정과 사소한 결정에 같은 예산이 배정된다는 점을 관찰하고, 상위 정책이 필요할 때 월드 모델을 상대로 대안을 탐색하게 만든다 — in-domain 과 분포 이동 양쪽에서 더 나은 다음 서브태스크 예측, 그리고 더 높은 closed-loop 성공률을 보고한다. 수치는 하나도 보고하지 않으며, "필요할 때" 가 무엇으로 촉발되는지도 말하지 않는다. 같은 축에서 정반대를 주장하는 Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence (arXiv:2608.16590) — 물리적 제어는 큰 모델이 낼 수 있는 것보다 더 빠른 결정을 필요로 한다 — 에 비추어 보면, 둘은 아마 서로 다른 결정 (제어 루프와 그 위의 서브태스크 경계) 을 다루고 있겠지만 어느 쪽도 그렇게 말하지 않고, 그 경계가 어디에 놓이는지를 재는 자료도 읽은 것 중에 없다.

주요 소스

• Cosmos 3 Super — NVIDIA 오픈 omnimodal physical AI (2026-06-01, R-Bench #1)
• Jim Fan — CaP-X 및 GR00T 연구 리더
• Gemini Robotics ER 1.6 — DeepMind 산업 현장 물리적 AI, 계기판 읽기 93%
• Zetta ζ: An Efficient Closed-Loop Embodied Harness for Self-Evolving Physical Intelligence (arXiv:2608.16590) — 닫힌 루프 embodied 하네스, 정책 고정, LIBERO-Pro 90.8% / RoboCasa 93.6%
• Project GR00T

관련 개념

• Memory as Plans: World-Action Modeling with Memory-Grounded Planning — 기억을 계획 시점에 쓰게 해 실행기 컨텍스트 길이를 고정한다; RMBench 83.3%, 실제 로봇 78.0%
• World Models — Cosmos-H-Dreams와 Qwen-Drive-1.0-4B가 속한 범주, 그리고 정책을 학습시키기 위해 만들어진 월드 모델과 보면서 조종하기 위해 만들어진 월드 모델 사이의 구분
• Agentic Reinforcement Learning — RL 적 학습 측면
• Eval Harness Configuration — 이제 소프트웨어 클러스터와 공유하게 된 하네스가 곧 역량이라는 논변
• Reasoning Models — high-level planning 측면
• SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation (arXiv:2608.18701) — 변형을 반영한 채점
• Decision-Metric Alignment in Latent World Models: Diagnostics and Action-Conditioned Objectives for MPC Planning (arXiv:2608.18746) — 잠재 비용과 실제 과제 진척
• NVIDIA — Cosmos 3 + GR00T + CaP-X
• Google DeepMind — Gemini Robotics 시리즈
• foundation-agent

열린 논쟁

• LLM-orchestrated 구조 vs end-to-end neural control — Jim Fan/NVIDIA 는 전자 강력 지지. 학계 일부는 후자 (e.g., Sergey Levine 그룹) 주장.