월드 모델 (World Models)

정의

월드 모델은 환경의 동역학을 학습한 모델이다. 상태와 행동이 주어지면 다음에 무슨 일이 일어나는지 예측한다. 이 위키에서 이 용어는 이름만 공유하고 나머지는 거의 공유하지 않는 두 가지를 가리키며, 그 구분이 이 페이지가 존재하는 이유다:

• 생성형 월드 모델 — 영상 (그리고 점점 오디오) 모델을 인터랙티브하게 만들어, 생성되는 스트림이 돌아가는 중에 입력에 반응하도록 한 것. GWM Worlds 2 가 이것이다.
• 에이전트를 위한 예측형 월드 모델 — 에이전트가 행동하기 전에 질의하는 모델로, 후보 행동의 결과를 비용을 치르지 않고 미리 가늠한다. Agent-Editing World Model: Rethinking World Modeling for LLM Agents 이 이것이다.

둘 다 같은 날, 서로 무관한 발행처로부터 이 위키의 입수분에 들어왔고, 어느 쪽도 다른 쪽의 계보를 인용하지 않는다.

왜 중요한가

두 독법은 서로 다른 시험을 함의하며, 이를 뭉뚱그리면 릴리스가 엉뚱한 시험으로 평가된다. 생성형 월드 모델은 조작 아래 스트림이 일관되게 유지되는가로 판정되고, 예측형은 그 예측에 따라 행동했을 때 과제 성공률이 오르는가로 판정된다. 그럴듯해 보이는 영상 모델이 그것만으로 다음에 무슨 일이 일어나는지 안다고 입증된 것은 아니며, 성공률을 올리는 상태 예측기는 아무것도 렌더링하지 않아도 된다.

이 위키는 몇 달 동안 월드 모델 자료를 쌓으면서 그것을 담을 페이지가 없었다: Cosmos-H-Dreams 와 Qwen-Drive-1.0-4B 둘 다 비교 표에 이 용어를 싣고 있고, Embodied Agents 가 이 용어를 쓰며, 아래 두 논문이 한 런에서 GWM Worlds 2 와 함께 도착했다. 흩어진 언급으로 두는 대신 여기서 페이지를 만든다.

현재 수준 (2026-09-27 기준)

이 페이지가 존재하지 않는다고 말한 계측기는 이 페이지가 쓰이기 닷새 전에 발표되어 있었다.

이 페이지는 2026-09-26 에, world model 의 생성적 의미와 예측적 의미가 서로 무관한 발행자로부터 한 실행에서 함께 도착했고 둘을 비교할 수 있는 계측기가 없다는 관찰과 함께 만들어졌다. HappyWorld-Bench 는 2026-09-21 자이며 두 의미를 모두 포괄한다 (source):

트랙	해당하는 의미	규모	시스템
영상 world model	생성적 일관성	프롬프트 1,138개	14
공간 world model	배치와 편집	장면 300개	9
임바디드 world model	행동 하의 상태	테스트 케이스 254개	8
전제는 이 페이지가 주장한 바로 그것이다: 평가에는 생성된 세계의 품질과 탐색·상호작용·수정 하에서의 일관성과 반응성이 둘 다 필요하다는 것. 구조는 생성적 구축에서 통합 world modeling 까지 여섯 역량 W1–W6 의 위계 프레임워크 — 여섯은 셈해지고 이름이 주어지지 않는다. 측정은 두 방향으로 동시에 돈다: HappyWorld-Arena 의 사람 A/B 비교로 모델 수준 Elo 를 얻고, 그와 나란히 행동적 정확성을 위해 새로 설계된 자동 지표를 쓴다.

수치라 할 만한 것: 공간 모델은 배치 정확도 최대 70.14% 와 편집 실행 73.33% 에 이른다 — 둘 다 천장이므로 나머지 시스템은 그 아래다. 영상 모델은 긴 롤아웃과 재방문에서 일관성이 떨어지고, 임바디드 모델은 다단계 행동에 걸쳐 상태를 보존하는 데 그리고 변경된 행동 조건과 물리 규칙에 정확히 반응하는 데 어려움을 겪는다. 정량화된 것은 공간 트랙뿐이다.

따라서 공백은 분야가 아니라 이 파이프라인의 독해에 있었다. 그렇게 평이하게 기록한다. 대안은 애초에 있지도 않았던 부재를 알아챈 공로를 위키가 자기에게 돌리는 것이기 때문이다. 남는 것은 더 좁고 여전히 붙들 만하다: 여기서조차 두 의미는 서로 비교되지 않는다 — HappyWorld-Bench 는 둘을 세 개의 독립 트랙에서 평가하는데, 이는 공유된 지표가 아니라 공유된 하네스다.

GWM Worlds 2 를 상대로: Runway 는 어떤 종류의 벤치마크도 공개하지 않으며, 실시간 생성이 "충실도를 속도와 맞바꾼다" 고 인정하면서 어느 쪽에도 수치를 주지 않는다. 프롬프트 1,138개의 영상 트랙에 사람 Elo 와 행동 지표가 붙은 자리가 바로 그 맞바꿈이 숫자가 되는 곳이다. 읽은 자료 어디에도 GWM Worlds 2 가 그 14개 안에 있다는 진술은 없으며, 있을 수도 없다 — 문의로만 접근 가능하다.

이제 한 주 안에 나온 world model 논문 세 편이 같은 속성 — 세계가 자기가 한 일을 기억하는가 — 을 측정한다: 이 벤치마크, 2609.28654 Training Object Permanence in World Models (오늘 upvote 196, 이 스냅샷 최고), 그리고 2609.28466 The Past Frames the Future. 그중 어느 것에서도 가장 강한 수치는 73.33% 다.

현재 수준 (2026-09-26 기준)

플레이 가능한 스트림으로 출시된 월드 모델 (2026-09-03)

Runway 의 GWM Worlds 2 는 연속 720p 영상을 24 fps 로, 48 kHz 오디오와 함께 생성하며 고정 길이에 제한되지 않고, Runway 가 WorldPrompt 라 부르는 입력 형식 아래 동작한다 — 첫 프레임을 비롯한 요소를 먼저 고정한 뒤, 타임스탬프 이벤트가 캐릭터·카메라·환경을 조종하고, 그 이벤트는 생성이 돌아가는 중에 발행될 수 있다. 명시된 레시피: 베이스 영상 모델을 그 형식에 fine-tune, autoregressive 생성을 위한 post-training, 실시간 속도를 위한 distillation (source).

여기에 벤치마크가 따라붙지 않으며, 그것이 이 갈래에 대한 현재 수준의 정직한 요약이다: 데모가 곧 증거이고, Runway 자신도 실시간 생성이 "충실도를 속도와 맞바꾼다"고 말하면서 그 맞바꿈을 수치화하지 않는다.

물체 영속성은 측정 가능하고, 영상 모델은 대체로 그것을 갖고 있지 않다 (2026-09-23)

WROP (Training Object Permanence in World Models, arXiv 2609.28654, 업보트 155) 는 영상 생성 모델에 물체 영속성과 고체성이 창발했는지 묻고, 속도·조명·카메라 각도를 무작위화하면서 각 과제의 구조는 보존하는 Blender 생성기로 여섯 개 인지 범주에 걸친 손수 설계한 150 개 과제를 만들며, 1.5M 샘플 학습 코퍼스와 300 문항 시험을 공개한다. 영상 모델 14 개 — reference-to-video 3, edit 7, continuation 4 — 를 평가하며, 여기에는 자체 16B PWM-WROP 이 포함되는데 이는 블라인드 pairwise Elo 조사에서 continuation 모델 중 1 위, 전체 3 위에 오른다 (source).

순위보다 틀이 중요하다: 이것은 인지적 선험을 held-out 시험을 갖춘 학습 가능한 목표로 다루는 반면, 위의 갈래에는 시험 자체가 없다.

에이전트에게는 도구 응답을 예측하는 것이 틀린 목표였다 (2026-09-23)

Agent-Editing World Model: Rethinking World Modeling for LLM Agents 은 고엔트로피·실행 의존적인 도구 응답을 재구성하는 것이 "실제 피드백을 쓸 수 있을 때 가치가 제한적" 이라고 논증하고, 대신 추론과 행동이 이후의 과제 진행 상태를 어떻게 바꾸는지를 모델링한다. 보고: 자체 Action Judge 벤치마크에서 70.5% macro-F1, 가장 강한 프런티어 베이스라인 대비 10.6 포인트, 그리고 벤치마크 6 개와 에이전트 백본 3 개에 걸쳐 평균 3.2–6.7 포인트 개선 (source).

도메인 월드 모델은 학습 기질로서 이어진다

Cosmos-H-Dreams (NVIDIA, 수술 로보틱스) 와 Qwen-Drive-1.0-4B (Alibaba / Qwen AI Lab, 주행) 는 이 위키가 가장 오래 보유해 온 형태다: 보기 위해서가 아니라 체화된 정책을 학습시키거나 평가하기 위해 만들어진 월드 모델. Embodied Agents 참조.

열린 문제

2026-10-28: Genie 4는 상호작용형 시청각 시뮬레이션에 공급자가 설명하는 추론 루프를 더한다. 출시 발표는 표류와 물리적·공간적 부정확성을 명시적으로 인정하므로, 그럴듯한 렌더링과 검증된 예측은 여전히 구별된다. (source)

2026-10-11: Embodied Turing Machines — code-only robot policies는 정확하고 명시적인 상태를 코드만으로 실행하는 로봇 정책의 전제 조건으로 둔다. 이는 그럴듯한 미래 영상을 생성하는 것과 다른 표현 방식이며, 논문이 주장하는 한계는 상태 추정과 코드의 정확성이다. (source)

2026-10-10: Memento 3: Model-Based Recursive Self-Improvement through Reflective Rulebooks는 수정된 실행 가능 세계 모델을 관측된 상태 전이와 대조하여 검증한다. 이는 재현 일관성과 미관측 상태 일반화의 경계를 명확히 드러낸다. 전자를 통과했다고 후자가 입증되는 것은 아니다. (source)

• 무한 지평에서의 표류. GWM Worlds 2 의 주장은 "무한정 생성한다"는 것이고, 그 지평에서 세계가 일관되게 유지되는지가 흥미로운 질문인데 읽은 어떤 것도 이를 다루지 않는다.
• 두 독법을 가로지르는 공유 벤치마크가 없다. WROP 은 인지 시험으로 영상 모델을 채점하고, Agent-Editing 은 과제 성공으로 에이전트를 채점한다. GWM Worlds 2 와 Agent-Editing World Model: Rethinking World Modeling for LLM Agents 을 비교할 수 있는 계측기는 존재하지 않으며, 제안된 바도 없다.
• 출처 표시. 실시간 조작 아래 임의 길이의 실사급 영상 과 오디오를 내보내는 모델에 대해, 수집한 Runway 발표문에는 워터마킹 진술이 없다. Gemini 3.8 Live 의 생성 아바타에 SynthID 가 명시된 Content Provenance (AI output marking) 와 대비된다.
• 충실도와 조작성이 맞바뀌는지, 그리고 어디서 맞바뀌는지. Runway 가 주장하고, 아무도 수치화하지 않았다.

주요 논문

• 2609.28654 — Training Object Permanence in World Models (WROP), 2026-09-23. 데이터, 시험, 가중치, 학습 스택 공개. 위키 페이지 없음 — 일회성 언급 규칙에 따라 페이지가 아니라 여기에 캡처 (source)

• Agent-Editing World Model: Rethinking World Modeling for LLM Agents — Agent-Editing World Model, 2026-09-23

• 2609.28466 — The Past Frames the Future: Memory for Autoregressive Video Generation, 2026-09-23, 업보트 37. 같은 스냅숏에서 읽었고 승격하지 않았다: 위의 표류 문제에 직접 관련되며 이번 런에서 초록 수치를 추출하지 못했다 (source)

• HappyWorld-Bench — HappyWorld-Bench, 2026-09-21. 이 페이지에서 생성적 의미와 예측적 의미를 함께 포괄하는 첫 평가 계측기; 세 트랙에 걸쳐 31개 시스템, 유일한 수치는 70.14% / 73.33% (source)

2026-09-28 — 이 분야에 가격이 붙었고, 값을 부른 쪽은 이 분야에 모델이 없는 매수자다

AMD 가 World Labs 를 전액 주식 82억 달러 에 인수하기로 합의했고, 규제 승인을 조건으로 2026년 말 종결이 예상된다. 창업자 Fei-Fei Li 는 AMD 수석 부사장 겸 수석 과학자 가 된다. World Labs 는 관련 보도 전반에서 텍스트·이미지·영상으로부터 상호작용 가능한 3D 환경을 생성하고 재구성하고 시뮬레이션하는 공간 지능 모델 과 로봇 학습 및 시뮬레이션 을 만드는 곳으로 서술된다 (source).

이것에 관해 두 가지가 엔티티 페이지가 아니라 이 페이지에 속한다.

첫째, 결과가 아니라 분야에 붙인 가격이다. 위 ## 현재 수준 의 모든 산출물은 벤치마크 없는 연구 프리뷰(GWM Worlds 2, 발표되었으나 출시되지 않음)이거나, 현재 시스템이 객체 영속성 에서 실패함을 보이는 벤치마크다. 82억 달러 — AMD 사상 두 번째로 큰 인수이고 Xilinx 거래의 6분의 1 — 가 공개된 점수도, 명명된 모델도, 라이선스도 없이 붙는다. World Labs 가 그런 것을 공개했다고 지목하는 자료가 없기 때문이다. 이 분야의 가격과 이 분야의 측정된 역량이 서로 다른 과정으로 정해지고 있다.

둘째, 이 페이지는 World Labs 가 존재하는지 몰랐다. 5월부터 월드 모델을 추적해 왔는데 이 랩은 위 모든 항목에도, 어떤 티어의 sources.yaml 에도, Embodied Agents 에도 없다. 포착은 +2일 이며, 그것도 AI 뉴스레터가 반도체 거래를 다루기 때문일 뿐이다. 나흘 앞서 Runway 는 같은 이유로 +23일 이었다. 이 페이지가 가진 공백은 월드 모델 분석에 있지 않다. 어떤 조직을 지켜보는지에 있다.

관련 개념

• World Labs — 그 랩, 그리고 그것을 여기 들여놓은 인수

• Embodied Agents — 예측형 월드 모델이 실제로 쓰이는 곳

• Agents (LLM Agents) — 에이전트 갈래가 공유하는 메모리와 상태 추적 문제

• Content Provenance (AI output marking) — 생성 갈래에서 답 없이 남은 질문