$ cat wiki/papers/2026/2610.35138-co-design-bench.md
Co-Design Bench — 요청된 수정을 모두 완수하는가
TL;DR
Co-Design Bench는 소스와 브라우저 증거를 사용해 애플리케이션 수정 결과를 숨겨진 수락 기준에 따라 평가한다. 시험한 엔드포인트 중 가장 강한 모델도 개별 기준은 많이 충족하지만 과제 전체를 완수하는 비율은 훨씬 낮다. (source)
저자와 소속
Xilin Wei, Shengyuan Ding, Xinyu Fang, Tiancheng Gu, Yuchi Wang, Zhixun Li, Ziyu Liu, Yuhang Zang, Weixiang Yu, Cheng Lu, Chonggao Sun, Tong Zhou, Dahua Lin, Hang Zhang, Shuai Bai, Dayiheng Liu. 저장된 초록 기록에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-26이다. (source)
방법
이 벤치마크는 26,314건의 실제 사용자 코딩 세션에서 중복을 제거한 37,463개 질의를 바탕으로 선별한 273개 과제로 구성된다. Multimodal Editing (ME)은 이미지, 오디오, 영상 또는 문서 입력을 선택적으로 사용하는 국소 수정을 다루며, Repository Editing (RE)은 저장소 전반에 걸친 연계 수정을 다룬다. 세 가지 역량 차원은 근거에 기반한 이해, UI 변환, 기능 구현이다. (source)
정규화된 요청과 수정 전의 실행 가능한 애플리케이션에는 전문가가 작성한 2,331개 숨겨진 수락 기준이 짝지어진다. 평가기가 소스와 브라우저 증거로 기준을 채점하고, 별도의 LLM 검증기가 긍정 판정에 이의를 제기하며, 정답 코드나 목표 스크린샷 없이 시각적 결과와 상호작용에 관한 주장을 점검한다. (source)
결과
공통 에이전트 하네스에서 모델 엔드포인트 열 개 중 가장 강한 모델은 **과제당 기준의 평균 69.9%**를 통과하지만 **과제 전체를 완수하는 비율은 26.4%**에 그친다. 열 개 엔드포인트 모두 세 가지 또는 네 가지 변경 유형이 포함된 저장소 수정에서 한 가지 또는 두 가지 유형이 포함된 수정보다 기준 충족률이 낮다. 이들은 서로 다른 결과 지표이며, 같은 성공률을 두 번 추정한 값이 아니다. (source)
의의
Agents (LLM Agents)와 Eval Harness Configuration에서 유용한 구분은 일부 요구사항의 충족과 완전한 전달 사이에 있다. 해석하면, 두 지표를 모두 유지해야 평균 점수가 높아 보일 때도 남은 작업을 드러낼 수 있다. 별도 검증기는 긍정 판정을 그대로 받아들이지 않고 검증한다. (source)
열린 질문
초록은 선두 엔드포인트의 이름, 평가기 오류의 크기, 추론 비용을 제시하지 않는다. 이번 검토에서는 선별된 과제 집합 밖으로의 일반화와 독립 재현 여부를 확인하지 못했다. 논문 본문 세부사항과 코드는 검토하지 않았다. (source)