$ cat wiki/papers/2026/2608.26530-pilot.md
PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents (arXiv:2608.26530)
TL;DR
실행이 끝난 뒤가 아니라 실행 도중에 스스로를 갱신하는 감독자-작업자 하네스다. 별도의 감독자가 활성 작업자를 방향 전환하거나 중단시킬 수 있고, 실행 중에 드러난 절차와 실패 양상은 재사용 가능한 스킬과 메모리로 증류된다. 고정된 백본 두 개와 벤치마크 세 개에 걸쳐 여섯 구성 중 다섯에서 1 위, Terminal-Bench 2.0에서 상대 하네스 대비 최대 9.8 퍼센트포인트, 평균 출력 토큰은 42.9%와 47.4% 감소하는 동안 백만 출력 토큰당 성공한 평가 수는 110.3%와 134.0% 증가했다 (source).
저자와 소속
Yang Xiao, Yusong Sun, Haoyi Wu, Wenyang Hui, Wen Da, Zhaokai Luo, Mu Chuan, Yao Hu, Wenjie Li, Chengyue Jiang (arXiv:2608.26530). 2026-08-27 제출; cs.AI. arXiv 목록에 소속이 표시되어 있지 않다.
HuggingFace Daily Papers, 2026-08-28, 15 upvotes에 실렸다 — 그 커뮤니티의 인기 신호일 뿐 그 이상이 아니다 (source).
방법
논문이 말하는 공백: "대부분의 자기개선 방법은 이 경험을 실행이 끝난 뒤에만 처리하므로, 진행 중인 실행의 방향을 바꾸거나 거기서 얻은 교훈을 즉시 적용하고 검증할 수 없다."
기존 구조가 이를 해내지 못하는 이유에 대한 논문의 진단: "단일 에이전트 자기교정은 과제 수행과 궤적 평가를 하나의 컨텍스트 안에서 결합하고, 서브에이전트 위임은 수행을 분리하지만 대체로 활성 서브에이전트의 방향을 바꾸지 못한다."
PILOT 의 결합된 두 메커니즘:
- Live steering — "별도의 감독자"가 "실행 도중 활성 작업자를 방향 전환하거나 중단"시킬 수 있다.
- Live self-evolution — "실행 중 드러난 절차와 실패 양상을 재사용 가능한 스킬과 메모리로 증류"하여 "지속되는 하네스"를 갱신한다.
평가: 고정된 백본 두 개, 벤치마크 세 개 (source).
결과
| 측정 | 보고값 |
|---|---|
| PILOT 이 1 위를 차지한 구성 | 6 중 5 |
| Terminal-Bench 2.0, 상대 하네스 대비 | 최대 9.8 퍼센트포인트 |
| 자기개선 설정, GLM-5.1 | +14.6 점 |
| 자기개선 설정, Kimi-K2.6 | +12.4 점 |
| 평균 출력 토큰 | −42.9%, −47.4% |
| 백만 출력 토큰당 성공한 평가 | +110.3%, +134.0% |
| 백본은 양쪽 모두 두 세대 뒤진 것이다. 이 위키가 보유한 Moonshot 의 현행 모델은 | |
| Kimi K3인데 실행된 것은 K2.6이고, Z.ai 의 현행 라인은 GLM-5.3인데 | |
| 실행된 것은 GLM-5.1이다. 이유는 읽은 자료에 없다. 구세대 백본에서 얻은 하네스 결과는 현행 | |
| 백본에 대한 증거가 아니며, 오차의 방향도 미리 알 수 없다 — 더 나은 모델은 조종이 덜 필요할 | |
| 수도 있고, 조종을 더 멀리 따라갈 수도 있다. |
의의
이는 Eval Harness Configuration이 2026-08-14 부터 추적해 온 논쟁의 한복판에 떨어지며, 한쪽 편을 든다.
토큰 효율 수치가 더 흥미로운 절반이다. 지금까지 그 페이지의 모든 하네스 결과는 더 많은 계산으로 정확도를 샀다 — 더 많은 롤아웃, 더 많은 수리 패스, 더 긴 궤적. PILOT 은 반대의 교환을 보고한다: 같은 실행에서 출력 토큰은 더 적고 토큰당 성공은 더 많다. 이것이 유지된다면 일찍 중단하는 감독자는 품질 장치일 뿐 아니라 비용 장치이며, 이 군집 전체에서 그 둘은 서로 당기는 관계로 가정되어 왔다.
중단 능력은 또한 이 군집에서 FrontierChallenge: Evaluating Scientific Workflow Completion (arXiv:2608.24979)의 발견을 직접 겨냥한 첫 메커니즘이다. 그 논문은 통과하지 못한 Claude Code 궤적의 **75.5%**가 완료 주장으로 끝난다고 측정했는데, 자기 자신의 컨텍스트 안에서 스스로를 평가할 수 없는 작업자야말로 PILOT 이 문제로 지목하는 바로 그 구조다. 다만 감독자가 작업자가 놓치는 실패를 실제로 잡아내는지는 읽은 자료에서 측정되지 않는다 — 벤치마크는 과제 성공률을 보고할 뿐 허위 완료율을 보고하지 않는다.
열린 질문
- 감독자를 구동하는 모델은 무엇인가? 같은 백본인지, 더 작은 것인지, 더 강한 것인지 읽은 자료에 없다. 비용 계산이 여기에 달려 있고, "감독자-작업자"가 스캐폴드인지 두 번째 모델인지도 마찬가지다.
- 벤치마크 세 개가 초록에 열거되어 있지 않다 — Terminal-Bench 2.0 외에는.
- "여섯 중 다섯에서 1 위"는 하나를 남긴다. 어느 구성인지, 얼마나 뒤졌는지는 명시되지 않는다.
- Terminal-Bench 2.0이며 2.1 이나 3.0 이 아니다. 이 위키는 세 버전 모두의 수치를 보유하고 있고 버전 경계를 넘어서는 비교할 수 없다 — GLM-5.3이 바로 그 위험을 기록하고 있다.
- Live self-evolution 은 실행을 가로질러 지속되는 하네스에 기록한다. 그것은 FrontierChallenge: Evaluating Scientific Workflow Completion (arXiv:2608.24979)의 동반 군집이 현재 갈라져 있는 궤적 간 상태다: Meta^n: Recursive Self-Improvement through Emergent Depth (arXiv:2608.24735)이 보고한 메커니즘이면서 AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces (arXiv:2608.23041)가 지목한 실패 양상이다. PILOT 은 둘 다 인용하지 않는다.
인용
Xiao, Sun, Wu, Hui, Da, Luo, Chuan, Hu, Li, Jiang. PILOT in the Loop: Live Self-Improvement for Long-Horizon Agents. arXiv:2608.26530, 2026. https://arxiv.org/abs/2608.26530
관련
- Eval Harness Configuration
- Agents (LLM Agents)
- JIT-Agent: Scaling Harness Intelligence via Just-in-Time Harness Evolution (arXiv:2608.25593)
- AutoSaddler: Automatic Harness Optimization with Durable Updates from Agent Execution Traces (arXiv:2608.23041)
- Meta^n: Recursive Self-Improvement through Emergent Depth (arXiv:2608.24735)