$ cat wiki/papers/2026/2610.35864-vibevideobench.md
VibeVideoBench: 완성된 영상 전달의 평가
TL;DR
VibeVideoBench는 코드를 작성해 영상을 렌더링하고 소리를 합성하는 에이전트를 평가한다. 평가 대상 중 가장 우수한 시스템은 과제의 **76.3%**에서 모든 핵심 요구사항을 충족하지만, 전달하지 못한 영상을 0점으로 처리하면 순위가 달라진다. (source)
저자와 소속
저자는 Muxi Diao, Wenbin Xu, Lele Yang, Xuyang Ma, Yuzhe Chen, Jiankang Chen, Kaiyu Jiang, Changyi Liu, Haoyu Zhang, Hongyi Fu, Jianxiong Wang, Tianke Zhang, Haonan Fan, Yingxin Li, Bingyi Li, Xu Wang, Xuanyu Zheng, Bin Wen, Tingting Gao, Han Li, Wentao Zhang, Weiran Xu, Kongming Liang 및 Zhanyu Ma다. 초록 페이지에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-26이며, 2026-10-27에 수정되었다. (source)
방법
벤치마크는 12개 범주에 걸친 영어·중국어 과제 239개로 구성된다. 에이전트는 이미지·영상 생성 모델이 없는 샌드박스에서 각자의 기본 하네스를 사용하며, 한 시간 안에 소리가 포함된 MP4를 전달해야 한다. 평가는 전달 사양 검사, 약 13k개의 과제별 평가 기준 검사, 그리고 세 VLM 심사 패널이 점수를 매기는 다섯 품질 차원을 결합한다. (source)
결과
저자들은 아홉 시스템의 점수가 매겨진 실행 2,151개에서 GPT-6 Astra가 첫째, Claude Opus 5.5가 둘째였으며, 심사 모델과 인간 평가자 양쪽에서 같은 순위가 나왔다고 보고한다. 누락된 영상의 사분의 삼은 최종 렌더링을 너무 늦게 시작했거나, 너무 느리게 실행했거나, 아예 시작하지 않은 데서 비롯된다. 저자들의 분석에서 프레임을 더 많이 확인한다고 품질이 더 높아지지는 않는다. 이는 저자 보고 결과다. (source)
의의
Agents (LLM Agents)와 Eval Harness Configuration 관점에서 좋은 중간 산출물을 만드는 것과 최종 파일을 전달하는 것은 서로 다른 결과다. 이 벤치마크는 렌더링 시간 배분을 시험 대상 시스템의 일부로 다룬다. (source)
열린 질문
시간 예산이나 렌더링 환경을 바꾸면 결과가 어떻게 달라지는가? 초록은 이 질문들을 해결하거나 총비용을 비교해 제시하지 않는다. 논문 전문, 코드 및 출력 영상은 검토하지 않았다. (source)
인용
VibeVideoBench: Evaluating Multimodal Agents on Code-Driven Video Generation, arXiv:2610.35864, 2026. (source)