$ cat wiki/papers/2026/2608.14905-autoresearcheval.md
How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks (arXiv:2608.14905)
TL;DR
8 개 하네스-모델 조합을 100 개 연구 과제 위에서 돌려 800 개의 주석 달린 궤적을 만들고, 실패 패턴이 가장 강한 모델을 포함해 8개 전부에서 반복된다고 보고한다. 따라서 논문의 결론은 결핍이 어디 있느냐에 관한 것이다: 어느 특정 스캐폴드가 아니라 모델 수준. 결여로 지목된 능력은 메타인지 루프다 (source).
방법
대상은 AutoResearch 다: 하나의 시스템이 최초 가설에서 최종 출판 논문까지 연구 전 단계를 수행하는 것. 기존 평가의 결함으로 세 가지가 지목된다 — 과제의 범위가 좁고, 평가가 성능은 재지만 과정은 재지 않으며, 실패 진단에 체계적 커버리지나 산출물 수준의 가시성이 없다.
| 구성 요소 | 무엇인가 |
|---|---|
| AutoResearchEval | 출판된 프런티어 과학에 근거한 100 개 과제, 7 개 과학 영역, 연구 생애주기 전체(발상, 검색, 실행, 분석, 작성, 리뷰) |
| 궤적 | 8 개 하네스-모델 조합 × 100 과제 = 800 개 궤적, 과정 수준 주석 포함 |
| ARFT | AutoResearch Failure Taxonomy — 경험적으로 근거한 45 개 실패 패턴 |
| 귀인 | 완전한 궤적과 중간 산출물을 검사하는 사람이 캘리브레이션한 agent-as-a-judge 파이프라인 |
| AutoResearchEval 과 ARFT 는 모두 공개된다고 밝혀져 있다. |
결과
45 개 실패 패턴은 하나의 포괄적 한계로 수렴한다고 명시된다: 현재 에이전트에게는 메타인지 루프 가 없다는 것으로, 초록은 이를 이렇게 정의한다
- 자신이 만든 것을 자신이 찾은 것과 대조해 확인하고,
- 버티지 못하면 고치고,
- 자신이 택한 경로가 타당했는지 되묻는 능력.
이 위키에 하중을 지는 결과: 같은 패턴이 가장 강한 모델을 포함해 8개 전부에서 반복된다. 논문은 결론을 명시적으로 끌어낸다 — 결핍은 어느 특정 스캐폴드가 아니라 모델 수준에 있다 — 그리고 똑같이 명시적으로 그것을 닫기를 거부한다: 오케스트레이션 수준의 개입이 그것을 메울 수 있는지는 이 연구가 시험하지 않는 열린 질문이라고 밝힌다.
초록이 주지 않는 것: 8개 조합, 7개 영역, 어떤 점수나 통과율, ARFT 범주 구조, agent-as-a-judge 파이프라인이 사람 캘리브레이션과 얼마나 일치하는지.
의의
이 위키의 하네스 클러스터에서 주된 발견이 하네스 논지에 부정적인 첫 논문이며, 그 클러스터가 가진 가장 강력한 긍정 데이터포인트인 StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling (arXiv:2608.15089) 과 같은 날 도착한다. 어느 쪽도 다른 쪽을 인용하지 않는다. 이 짝짓기는 이 위키의 것이며 그렇게 표시한다.
설계가 무게를 만든다. Eval Harness Configuration 의 상시 불만은 결과가 이름 없는 단일 구성에서 나오기 때문에 이득을 모델과 스캐폴드 사이에 배분할 수 없다는 것이다. AutoResearchEval 은 두 축을 모두 변화시키고 — 8개 하네스-모델 조합 — 실패 구조가 움직이지 않는다고 보고한다. 이 클러스터가 요구해 온 절제 실험을, 클러스터 자신의 가설에 대해 수행해, 불리한 답을 갖고 돌아온 것이다.
StateM 을 반박하지는 않으며, 그렇게 읽으면 틀린다. 둘은 다른 것을 잰다: Terminal-Bench 과제는 명세되고 검증 가능하며 경계가 있고, StateM 의 기제는 정확히 지속 상태와 복구 가능한 절차 — 궤도를 놓치지 않기 위한 장치 — 다. AutoResearch 과제는 열려 있고, 여기서 결여로 지목되는 능력은 자기 산출물을 판단하는 것 이며, 어떤 상태 관리도 그것을 공급하지 않는다. 방어 가능한 합산 해석, 그리고 이 위키가 이제 기록하는 것: 하네스 스케일링은 실행 신뢰성을 사지만 자기 평가는 사지 못한다. 과제가 첫 번째 이유로 실패하는 곳에서는 하네스가 돕고, 두 번째 이유로 실패하는 곳에서는 8개 조합이 함께 실패한다.
Test-Time Compute (Inference-Time Compute Scaling) 의 한 주장도 날카롭게 만든다. Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning (arXiv:2607.29211) 은 역량을 넘어서는 입력에서 옳은 예산은 0이라고 주장하며 체계적 캘리브레이션 오류 와 그럴듯한 추론(겉보기에 타당하고 미묘하게 틀린)을 지목한다. "자신이 만든 것을 자신이 찾은 것과 대조하지 못한다" 는 같은 결핍을 예산 쪽이 아니라 평가 쪽에서 관찰한 것이다. 두 논문, 다른 방법, 같은 결여된 능력이며, 어느 쪽도 다른 쪽을 인용하지 않는다.
열린 질문
- 어느 8개 조합인가? 모델 수준 결론 전체가 가장 강한 모델이 포함됐다는 주장에 걸려 있는데, 읽은 자료 어디에도 모델이나 하네스 이름이 없다.
- 여기서 agent-as-a-judge 가 옳은 도구인가? How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review (arXiv:2608.08975) 는 보고 내용을 고정한 채 수사만 바꿔도 LLM 평가자의 점수가 움직인다는 것을 보인다. 연구 궤적을 판단하는 파이프라인은 그 노출을 물려받으며, "사람이 캘리브레이션했다" 는 일치 수치 없이 명시된다.
- 하나의 한계로 수렴하는 45개 패턴 — 초록이 서술하지 않는 분류 체계에서 나온 단일 원인 수렴은 강한 주장이고, 그 패턴들이 독립적인지 아니면 한 가지를 45가지로 서술한 것인지는 읽은 자료로 판별할 수 없다.
- 이를 겨냥해 만든 하네스에서도 부정적 결과가 유지되는가? 논문은 오케스트레이션 수준 개입을 시험하지 않는다고 말한다. StateM 의 기제 — 사후 분석 결과를 실행 가능한 선행 조건으로 바꾸는 것 — 는 다른 과제 부류에서 결여됐다고 말해진 바로 그 루프에 대한 시도로 볼 여지가 있다.
- 저자, 소속, 라이선스 — 미상. 논문은 읽지 않았다.
인용
How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100
Real-World Frontier Research Tasks (2026). arXiv:2608.14905.
관련
- Eval Harness Configuration
- Agents (LLM Agents)
- Test-Time Compute (Inference-Time Compute Scaling)
- StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling (arXiv:2608.15089)
- Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning (arXiv:2607.29211)
- How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review (arXiv:2608.08975)