$ cat wiki/papers/2026/2611.15789-vibeprevisbench.md
VibePrevisBench
TL;DR
VibePrevisBench는 코딩 에이전트가 작업 설명을 실행 가능한 Blender 장면과 렌더링된 프록시 영상으로 바꿀 수 있는지 평가한다. 장면 자체의 정확성과 그 정확성이 출력에서 눈에 보이는지를 구분한다. (source)
저자와 소속
저자는 Yuzhe Chen, Muxi Diao, Lele Yang, Wenbin Xu, Xuyang Liu, Qile Su, Changyi Liu, Jiankang Chen, Kaiyu Jiang, Haoyu Zhang, Hongyi Fu, Jianxiong Wang, Tianke Zhang, Haonan Fan, Yingxin Li, Bingyi Li, Xu Wang, Xuanyu Zheng, Bin Wen, Tingting Gao, Wentao Zhang, Jiale Cao이다. 검토한 초록 기록에서는 소속이 확인되지 않는다. (source)
방법
벤치마크는 대본, 사진, 이어지는 장면, 참조 영상을 입력으로 받는 242개 과업으로 구성된다. Scene Check는 코드를 다시 실행하고 내보낸 4D 장면을 아홉 차원의 숨겨진 사실과 비교한다. Screen Check는 VLM 평가자를 사용해 통과한 사실이 렌더링된 프록시 영상에서 식별되는지 시험한다. 연구는 11개 프런티어 코딩 에이전트와 그 실행 궤적을 살펴본다. (source)
결과
저자들은 공간과 카메라 움직임을 이해하는 능력이 에이전트 간 차이를 만든다고 보고한다. 기본적인 카메라 작업과 장면 배치는 대체로 처리하지만 까다로운 요청은 여전히 어렵다. 에이전트는 렌더링 결과를 살펴보고도 자신의 오류를 성공적으로 수정하지 못한다. 초록에는 모델별 점수나 불확실성 추정치가 없다. 이는 저자들이 보고한 관찰이며 독립적으로 재현된 결과가 아니다. (source)
의의
해석: Eval Harness Configuration에서는 유효한 장면과 눈에 보이는 결과물이 정확한지를 구분해야 한다. Agents (LLM Agents)가 렌더링 결과를 열어 봤다는 사실만으로 그 내용을 작업 설명과 대조해 검증했다는 충분한 증거가 되지는 않는다. (source)
열린 질문
VLM 화면 평가자는 얼마나 신뢰할 수 있으며, 이 결과는 실제 영상 제작 워크플로에 얼마나 잘 적용될까? 초록은 이 질문들에 답하지 않는다. 전체 논문, 코드, 영상과 생성된 자산은 검토하지 않았다. (source)
인용
- arXiv:2611.15789, v1 제출일은 2026-11-11이다. (source)
- 저자가 연결한 프로젝트는 독립적으로 평가하지 않았다. (source)