$ cat wiki/papers/2026/2608.07545-darwinx.md
DarwinX: Evolving Agent Harnesses Through Natural Selection (arXiv:2608.07545)
TL;DR
모델은 얼려 두고 하네스를 진화시킨다. DarwinX 는 에이전트 하네스 — 프롬프트, 도구, 스킬, 제어 흐름 — 의 집단 을 각 벤치마크 자신의 verifier 가 채점하는 선택압 아래 돌리며, 한 번의 루프로 네 벤치마크에 걸쳐 평균 약 +17점, Terminal-Bench 2.1 84.7% 도달, 그리고 Terminal-Bench 에서 SWE-bench Verified 로 그대로 이전되는 하네스를 보고한다 (source).
방법
논문 자신의 틀은 "LLM 에이전트의 역량은 모델 가중치만이 아니라 그 하네스 — 프롬프트, 도구, 스킬, 제어 흐름 — 에 달려 있다" 는 것이고, 기존의 자기개선 루프는 하나의 계보를 편집해 경로 의존적이며 "국소적 이득이 다른 과제를 후퇴시키는 일이 잦다" 는 것이다 (source).
DarwinX 는 그 단일 계보를 모델을 얼린 채 집단에 가하는 선택으로 바꾼다:
- preserve-and-extend 계약 은 후퇴 없이 커버리지를 넓히는 변종만 받아들인다 — 국소적 이득 문제에 대한 장치다.
- 아카이브 는 대안 계보를 보관해, 뒤처졌다고 버리는 대신 나중에 재조합할 수 있게 한다.
- 실패에서 온 근거, 교사에서 온 근거, 스스로 만든 근거가 하나의 편집 인터페이스를 공유해 세 피드백 원천이 같은 조건에서 경쟁한다.
- 적합도는 각 벤치마크 자신의 verifier 에서 나온다 — 논문의 표현으로 "정답 풀이도 없고, 손으로 고른 승자도 없다" (source).
결과
| 벤치마크 | 결과 | 보고된 대로 |
|---|---|---|
| 네 벤치마크 평균 | 한 루프에 약 +17점 | "one loop adds about 17 points on average" |
| Terminal-Bench 2.1 (같은 베이스) | 83.2%, +7.7 | matched base model |
| Terminal-Bench 2.1 (더 강한 베이스) | 84.7% | "the verified frontier" |
| TerminalWorld (held-out split) | 68.3% | "기성 에이전트 전부보다 앞선다" |
| WebArena-Infinity (실과제 pass@1) | 43.5% → 93.0% | "audit-clean" |
| SWE-bench Verified | Terminal-Bench 2.1 하네스가 그대로 이전 | 수치 없음 |
| 네 벤치마크는 "진화 신호를 시험에서 점진적으로 분리한다" 고 서술되는데, 이는 명백한 반론 — | ||
| verifier 에 맞춰 진화한 하네스는 그 verifier 에 과적합된다 — 에 대한 논문 자신의 답이다. | ||
| 주장되는 결론은 "진화하는 것은 벤치마크별 패치가 아니라 일반적인 에이전트 역량이며, 따라서 | ||
| 과제·verifier·베이스 모델이 바뀌어도 살아남는다" 는 것이다 | ||
| (source). |
초록이 주지 않는 것: SWE-bench Verified 의 벤치마크별 수치, 루프 하나에 드는 연산, 집단 크기, 세대 수, 그리고 WebArena-Infinity 의 43.5% 출발점에 대한 기준선. 여기서 보고된 가장 큰 단일 이동인 93.0% 가 맥락이 가장 적은 수치다.
의의
Eval Harness Configuration 이 만들어진 이유인 주장 — 벤치마크 수치는 (모델, 하네스) 쌍에 대한 주장이고, 하네스 항은 공개되지도 고정되지도 않는다 — 의 지금까지 가장 강한 진술이다. DarwinX 는 그것을 측정상의 단서에서 방법으로 바꾼다. 마지막 문장 "얼린 모델이라고 해서 고정된 에이전트일 필요는 없다. 하네스 선택은 평가 연산을 지속되는 역량으로 바꾼다" 는, 공개되지 않는 항이 이제 역량이 나오는 자리라는 논증이다.
이 위키가 이미 보유한 수치들과 나란히 놓으면 주장의 크기가 보인다. Qwen 3.8 27B 는 Terminal-Bench 2.1 73.0, DeepSeek V4-Pro-0813 은 87.9 를 벤더 발표로 내놓았고 하네스는 공개되지 않았다. Claude Sonnet 5 는 80.4% 를 보유한다. DarwinX 의 84.7% 는 그 범위 안에 있고, 가중치를 하나도 바꾸지 않고 얻어졌다. 같은 베이스 위 +7.7점이 재현된다면, 두 벤더의 Terminal-Bench 수치 차이는 더 이상 두 모델의 차이라고 믿을 수 없다.
하루 앞선 AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses (arXiv:2608.12307) 도 있다 — 빌더가 쓴 추론 시점 하네스가 Theory-of-Mind 평균을 파라미터 갱신 없이 0.49 → 0.91 로 옮겼다 — 그리고 같은 HuggingFace 묶음에 같은 구조적 수를 두는 논문이 셋 더 있다(열린 질문 참고). 이틀에 다섯 건은 우연이 아니라 군집이다.
열린 질문
- 루프 하나에 얼마가 드는가? 읽은 자료 어디에도 연산, 실행 시간, 집단 크기, 세대 수가 없다. "평가 연산을 지속되는 역량으로 바꾼다" 는 한쪽 값이 없는 환율이다.
- SWE-bench Verified 수치는 얼마인가? 이전은 주장되지만 숫자는 주어지지 않는다.
- preserve-and-extend 계약은 검사 가능한가, 휴리스틱인가? "후퇴하지 않는다" 를 전체 과제 집합에서 검증하는지 표본에서 검증하는지가 아카이브의 표류 가능성을 가른다.
- 벤더 자신의 발표 수치와 어떻게 상호작용하는가? 랩이 벤치마크를 발표하기 전에 하네스를 진화시키면 방법이고, 제3자가 나중에 그렇게 하면 재현 실패다. 읽은 자료는 어느 쪽인지 다루지 않는다.
- 저자 목록과 소속 — 미상. 논문을 읽지 못했다.
- DarwinX 는 공개됐는가? 읽은 자료에 코드, 라이선스, 저장소가 나타나지 않는다.
인용
DarwinX: Evolving Agent Harnesses Through Natural Selection (2026).
arXiv:2608.07545.
관련
- Eval Harness Configuration
- Agents (LLM Agents)
- Agentic Reinforcement Learning
- AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses (arXiv:2608.12307)
- AREX: Towards a Recursively Self-Improving Agent for Deep Research
- Skill Self-Play: Pushing the Frontier of LLM Capability with Co-Evolving Skills