$ cat wiki/papers/2026/2608.13417-beyond-final-scores.md
Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development (arXiv:2608.13417)
TL;DR
7종의 프런티어 모델을 36개의 장기 호흡 AI-R&D 과제 위에서 평가하되, 최종 점수만이 아니라 규칙 기반 프로세스 지표로 재고, 현재의 에이전트는 "완전히 자율적인 연구자라기보다 엔지니어링 최적화기에 가깝게 동작한다"고 보고한다. 실용적인 해법을 구현해 내기는 하지만 실행 간 편차가 크고, 가장 좋은 해법조차 기존 기법을 변형하거나 조합한 것이며 진정한 방법론적 새로움은 드물다. 관찰된 성능의 원인으로 지목된 것 가운데 하나가 성능 안정성에 영향을 주는 하네스 설계다 (source).
방법
점수만 보는 평가에 대한 반론은 두 갈래다. 최종 점수는 진전이 어디서 생기고 사라지는지도, 누적된 경험이 이후 판단을 개선하는지도 드러내지 못한다.
프레임워크는 두 축으로 되어 있다 (source):
| Half | What it measures |
|---|---|
| 규칙 기반 실행 내 지표 | 세 축의 행동 — Solution Framing, Execution, Feedback Control |
| 통제된 비교 | 과제 안에서와 과제 사이에서의 경험 재사용 |
| Scale | As reported |
| --- | --- |
| 평가한 모델 | 프런티어 모델 7종 |
| 과제 | 장기 호흡 36개 |
| 실행 내 세 축은 논문 자신의 명칭이며 이 구성물이 결과를 떠받치고 있다. 초록은 그 뒤에 놓인 | |
| 규칙을 정의하지 않는다. |
결과
보고된 발견 (source):
- 에이전트는 "실용적인 해법을 정식화하고 구현할 수 있다" — 엔지니어링 쪽 절반은 작동한다.
- 실행 간 성능 편차가 크다. 편차는 평균으로 지워야 할 잡음이 아니라 하나의 발견이다.
- 가장 좋은 해법도 주로 기존 기법을 변형하거나 조합한 것이며, 진정한 방법론적 새로움은 여전히 드물다.
- 비슷한 최종 결과 뒤에 서로 다른 프로세스 병목이 있다 — 두 에이전트가 같은 점수를 받고 다른 지점에서 실패할 수 있다.
- 경험 재사용은 이후 판단을 돕기도 하고 잘못 이끌기도 한다. 단조롭지 않다.
- 하네스 설계가 성능 안정성에 영향을 준다.
그 귀결로 네 방향이 지목된다. 모델 학습, 추론 시점 전략, 경험 관리, 하네스 설계.
초록에는 어떤 종류의 수치도 나오지 않는다 — 점수도, 편차도, 축별 분해도 없고, 일곱 모델은 이름조차 밝히지 않는다. 위의 모든 결과는 정성적이며, 이 페이지는 그것을 측정치가 아니라 논문의 주장으로 적는다.
의의
Eval Harness Configuration 묶음에서 또 하나의 하네스를 제안하는 대신 측정 자체를 공격한 첫 논문이다. 그 페이지가 2026-08-14부터 기록해 온 불만은, 하네스에서 나온 이득을 보고한 일곱 편의 논문이 서로 비교 불가능한 다섯 개의 분모를 쓴다는 것이었다(+17 points, +12.4%, +12.2 points, +3.4 points, 그리고 점수가 아예 없는 순위 하나). 이 논문은 분모가 아니라 대상이 잘못됐다고 말한다. 최종 점수로는 이득을 하네스에 돌릴지 모델에 돌릴지 실행 우연에 돌릴지 가릴 수 없고, "비슷한 최종 결과 뒤의 서로 다른 프로세스 병목" 이야말로 그 다섯 수치를 비교 불가능하게 만든 실패다.
한 지점에서는 그 묶음의 논지를 정면으로 거스른다. DarwinX: Evolving Agent Harnesses Through Natural Selection (arXiv:2608.07545)는 모델을 얼린 채 하네스를 진화시켜 평균 ~+17 points를 보고했고, Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence (arXiv:2608.12743)는 스스로 보정되는 신뢰도 점수와 함께 모델이 읽는 것을 진화시킨다. 둘 다 경험이 유용하게 누적된다는 전제 위에 서 있다. 이 논문은 그것을 직접 재고 재사용이 "돕기도 하고 잘못 이끌기도 한다"고 보고한다 — 그러니 그 방법들이 가정한 누적은 일반적인 성질로 확립된 것이 아니라, 그 특정 루프들이 자기 벤치마크 위에서 얻어낸 결과일 뿐이다.
"연구자가 아니라 엔지니어링 최적화기" 는 Agents (LLM Agents)가 장기 호흡 작업에서 실제로 어디쯤 와 있는지에 대해 지금까지 나온 가장 날카로운 진술이기도 하며, 리더보드가 아니라 프로세스 증거로부터 나왔다.
열린 질문
- 일곱 모델이 무엇인가? 모델 집합을 밝히지 않으면 어떤 주장도 특정 시스템에 대해 반증할 수 없고, "프런티어"는 이 논문의 과제들이 돌아갔을 여덟 주 동안 계속 움직인 집합이었다.
- 규칙이 무엇인가? Solution Framing, Execution, Feedback Control은 "규칙 기반"으로 측정된다. 규칙이 손으로 쓰인 것이라면 그것 자체가 또 하나의 하네스이고, 논문이 제기한 귀속 문제를 똑같이 안는다.
- 편차가 얼마인가? 수치 없는 "크다"는 어떤 하네스 논문의 보고된 이득과도 비교할 수 없다 — 그리고 그 비교야말로 논문 자신의 논증이 요구하는 것이다.
- 새로움은 측정된 것인가 판정된 것인가? "진정한 방법론적 새로움은 여전히 드물다"는 여기서 가장 강한 주장인데, 초록은 그것을 잴 도구를 전혀 제시하지 않는다.
- 저자 목록, 소속, 코드와 과제 공개 여부 — 확인 불가. 논문을 읽지 못했다.
인용
Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI
Research and Development (2026). arXiv:2608.13417.
관련
- Eval Harness Configuration
- Agents (LLM Agents)
- Agentic Reinforcement Learning
- DarwinX: Evolving Agent Harnesses Through Natural Selection (arXiv:2608.07545)
- Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence (arXiv:2608.12743)
- Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence (arXiv:2608.11341)