AI Trend Notifier
EN한
← wiki

$ cat wiki/papers/2026/2608.17426-semcomp-bench.md

SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation (arXiv:2608.17426)

paper갱신 2026-08-23생성 2026-08-23
multimodalvideobenchmarkevals

TL;DR

비디오 생성을 결과 중심 과제로 재정식화한다: 성공하려면 의도한 결과가 달성되어야 하고 동시에 참조 이미지에 의미적으로 접지되어야 하며, 중간 단계의 완전한 시퀀스나 통상적인 외형 일관성은 명시적으로 요구하지 않는다. SemComp-Data 는 여섯 개 도메인을 다루고, SemComp-Bench 는 비전-언어 모델이 구조화된 이진 질문에 답하는 방식으로 채점해 OA Score(결과 달성)와 GR Score(생성 신뢰성)를 보고한다. 대표적인 모델들에게 이 조합은 어렵다 (source).

저자와 소속

확보 불가. arxiv.org 는 EGRESS_BLOCKED 이고 논문은 읽지 않았다. HuggingFace Daily Papers, 2026-08-23, 155 upvotes 에 올라 있으며 그날 스냅숏에서 두 번째로 높은 수치다. upvote 는 그 커뮤니티의 인기 신호일 뿐 그 이상이 아니다 (source).

방법

재정식화. Semantic Task Completion Video Generation: 모델에 참조 이미지와 지시가 주어지고, 생성된 결과로 평가된다. 두 가지가 요구된다 — 결과 달성, 그리고 의미적 접지, 즉 참조 이미지와 생성된 결과 사이의 과제 관련 고수준 의미에서의 대응.

두 가지는 의도적으로 요구되지 않는다: 중간 과제 단계의 완전한 시퀀스 제시, 그리고 참조 이미지와의 통상적인 외형 일관성.

SemComp-Data: 여섯 개 도메인에 걸친 평가 데이터셋. 각 인스턴스는 참조 이미지, 상세 지시, 간략 지시, 그리고 결과 중심 비디오 클립으로 이루어지며, 원본 비디오를 표준화된 인스턴스로 바꾸는 4단계 큐레이션 파이프라인으로 생성된다.

SemComp-Bench: 비전-언어 모델이 구조화된 이진 질문에 답하는 평가 프로토콜로, OA Score 와 GR Score 를 보고한다.

결과

정성적으로만 서술되어 있다: 대표적인 비디오 생성 모델들에 대한 실험은 과제 관련 의미 접지를 유지하면서 의도한 결과를 달성하는 것이 여전히 어렵다는 점을 보여준다.

초록이 주지 않는 것: 수치가 하나도 없다 — OA 나 GR 점수도, 모델 이름도, 데이터셋 규모도, VLM 판정자와 사람 사이의 일치도 연구도 없다.

의의

흥미로운 수순은 무엇을 버렸는가에 있다. 참조 이미지와의 외형 일관성은 비디오 생성의 표준 지표였는데, 여기서는 과제가 완수되었는지와 직교한다는 이유로 폐기되고 대신 의미적 접지가 과제 관련 의미 수준에서 정의된다. 이는 SoftVTBench: A Deformation-Aware Visuo-Tactile Dataset and Benchmark for Deformable-Object Manipulation (arXiv:2608.18701) 가 조작에 대해 하는 교정과 같다 — 계산하기 쉬운 대리 지표가 아니라 중요한 결과를 채점하라 — 이것이 같은 날 다른 모달리티에서 도착한 것이다.

약점은 계측기다. SemComp-Bench 는 VLM 이 이진 질문에 답하는 방식으로 채점하는데, 이는 FM-Bench: A Benchmark for Long-Horizon Management with Competing Agents (arXiv:2608.18423) 가 결정론적 채점기를 써서 피하려 만들어진 설계이고, SemaPLC: A Project-Grounded, Verification-Gated Agent Harness for PLC Code Generation (arXiv:2608.18565) 가 라이브 런타임의 실행 트레이스로 대체한 설계다. 측정 수단이 다른 모델의 판단인 벤치마크는 그 모델의 실패를 물려받는데, 이 초록은 일치도 연구를 보고하지 않는다.

수치가 나올 때까지 낮은 신뢰도로 보류한다. 어떤 점수도 이 캡처에 도달하지 않았으므로, 이 페이지는 결과가 아니라 재정식화와 정성적 주장을 기록한다.

열린 질문

  • 수치가 하나라도 — 이름이 붙은 모델들의 OA 와 GR 점수.
  • VLM 판정자는 얼마나 신뢰할 만한가? 이진 질문은 자유 채점보다 견고하지만, 사람과의 일치도 수치가 주어지지 않았다.
  • 외형 일관성을 버리는 것이 기존 비디오 벤치마크 대비 모델 순위를 바꾸는가? 그 비교가 재정식화가 실제로 일을 하고 있음을 확립해줄 것이다.
  • 저자 목록, 소속, 데이터셋 라이선스 — 미상. 논문은 읽지 않았다.

인용

SemComp-Bench: Benchmarking Semantic Task Completion in Video Generation (2026).
arXiv:2608.17426.

관련

Referenced by

평가 하네스 설정

Sources