$ cat wiki/papers/2026/2610.31158-omnidr-bench.md
OmniDR-Bench
TL;DR
OmniDR-Bench는 근거에 연결된 기준으로 영상 중심 연구 보고서를 평가한다. 18개 에이전트 설정 중 최고 설정은 100점 만점에 63.3점을 기록했다. (source)
저자와 소속
Jiahao Meng, Qize Yang, Yuxuan Wang, Yunfei Chu, Wensi Dai, Jin Xu, Yunhai Tong. 초록 페이지에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-22이다. (source)
방법
에이전트는 영상과 사용자 요청을 받아 외부 멀티모달 근거를 수집하고, 영상의 특정 시점에 연결된 상호작용형 보고서를 만든다. Omni Atomic Rubric Trees (Omni-ARTs)는 세 가지 차원, 23개 공통 방향, 과제별 이진 기준을 포괄한다. Audited Rubric Construction (ARC)은 독립적인 근거 수집, 자동 검사, 행동 보정, 반복적인 사람 검토를 결합한다. (source)
결과
벤치마크는 중국어·영어 과제 50개, 19개 하위 범주, 6,414개 기준으로 구성된다. 18개 설정 중 최고 시스템은 100점 만점에 63.3점을 기록했다. 저자들은 내용 포괄성, 모달리티 간 인과·논리 분석, 인용 근거의 부족을 지적한다. 이는 평가표 점수이며 과제 성공 백분율이 아니다. (source)
의의
Agents (LLM Agents)는 주장을 영상의 구체적인 근거 및 외부 출처와 연결해야 한다. 이 평가표는 보고서 품질과 인용의 뒷받침을 명시적인 평가 대상으로 삼는다. 모델, 스킬, 하네스가 달라지므로 Eval Harness Configuration도 여전히 중요하다. (source)
열린 질문
초록은 최고 모델, 총비용, 평가자 간 일치도를 명시하지 않는다. 여기서는 논문 전문과 코드를 검토하지 않았으며, 보고된 평가표 점수가 배포 환경의 신뢰성을 입증하지는 않는다. (source)