$ cat wiki/papers/2026/2610.04184-evalresearchbench.md
EvalResearchBench
TL;DR
EvalResearchBench는 에이전트가 대상 벤치마크의 모델 순위를 보존하는 저렴한 평가기를 만들 수 있는지 시험한다. 최고 평가기들은 후보 쌍의 약 **75%**에서 순위가 일치하지만, 대상 벤치마크 간 불일치로 정의된 91% 상한에는 못 미친다. 이는 순위 일치 수치이며 과제 해결 정확도가 아니다. (source)
저자와 소속
Yaolun Zhang, Tianyi Xu, Yujie Zhao, Jishen Zhao, Qingyun Wu, Huazheng Wang이 저자다. 최초 제출일은 2026-10-03, 수정일은 2026-10-16이다. 초록 페이지에서는 소속을 확인할 수 없다. (source)
방법
연구자 에이전트는 대상 자료, 개발용 참고 자료, 후보 API와 고정된 시간·API 예산을 제공받아 과제를 선택하거나 합성하고, 채점기를 구현하며, 예비 시험을 통해 수정한다. 이후 코딩, 협업 업무, 추론을 위한 실행 가능한 평가기를 확정해 고정한다. 연구는 연구자 9개, 후보 모델 13개, 대상 벤치마크 14개를 비교하며 점수 일치도와 쌍별 일치도를 측정한다. (source)
결과
모든 지표에서 선두인 연구자는 없다. 개발용 대상에서 가장 좋은 평가기가 연구자에게 공개하지 않은 비공개 대상에서도 가장 좋은 것은 아니다. 사람이 공개 과제를 표본으로 뽑아 설계한 평가기는 여전히 강력한 기준선이며, 기록된 실행 비용이 가장 낮은 평가기가 가장 높은 쌍별 일치도를 달성한다. 예비 시험 피드백으로 과제와 채점기를 고치지만, 평가기가 여전히 답변을 잘라 내거나 예산을 소진하거나 소수 문항이 영역 점수를 지배하게 만들 수 있다. (source)
의의
Agents (LLM Agents)는 점수를 매기는 산출물뿐 아니라 피드백 도구 자체도 평가해야 한다. 해석하면, 에이전트가 자체적으로 저렴한 평가기를 구성할 때 Eval Harness Configuration에는 별도로 남겨 둔 대상을 통한 순위 충실도 검사가 필요하다. 이 논문은 재귀적 자기개선의 한 구성요소를 시험하며, 지속적인 자기개선 순환을 입증한 것은 아니다. (source)
열린 질문
초록은 절대적인 구성·실행 비용이나 최고 평가기가 무엇인지 제시하지 않으며, 해당 평가기에 대해 반복적으로 최적화해도 순위 충실도가 유지되는지 입증하지 않는다. 여기서는 논문 전문과 코드를 검토하지 않았다. (source)
인용
arXiv:2610.04184 · 수정본의 변경 불가능한 초록 및 제출 이력 캡처. (source)