$ cat wiki/papers/2026/2611.14960-termination-lag.md
Termination Lag — 실행 종료 이전의 정답 패치
paper갱신 2026-11-18생성 2026-11-18
TL;DR
코딩 에이전트는 실행이 끝나기 전에 정답 패치를 만드는 경우가 많다. 저자들은 그 이후 남은 단계와, 계속된 활동이 정답을 되돌리는 사례를 측정한다. (source)
저자와 소속
Musa Cim, Burak Topcu, Mahmut Taylan Kandemir. 검토한 기록에서는 소속이 확인되지 않는다. 2026-11-11 제출, v1. (source)
방법
저자들은 모델 5개, 에이전트 프레임워크 2개, SWE-bench 데이터셋 3개에서 생성된 서로 다른 저장소 패치를 모두 기록하고 테스트한다. 종료 지연은 첫 정답 패치부터 실행 종료까지의 단계 수다. (source)
의의
해석: Eval Harness Configuration에서는 최종 결과뿐 아니라 궤적도 측정해야 한다. Agents (LLM Agents)에서 첫 정답 시점과 최종 정답 여부는 하나의 통과율에 가려진 비용과 퇴보를 드러낸다. (source)
열린 질문
초록은 배포 가능한 중단 규칙을 확립하지 않는다. 분석은 패치를 사후에 테스트한다. 숨겨진 테스트 없이 에이전트가 첫 정답 패치를 식별할 수 있는지, 어떤 검증 단계가 여전히 필요한지는 여기서 열린 질문으로 남는다. 전체 실험과 코드는 검토하지 않았다. (source)
인용
- arXiv:2611.14960, v1, 2026-11-11.
- 불변 초록 및 메타데이터.