EN한
← wiki

$ cat wiki/papers/2026/2611.14960-termination-lag.md

Termination Lag — 실행 종료 이전의 정답 패치

paper갱신 2026-11-18생성 2026-11-18

TL;DR

코딩 에이전트는 실행이 끝나기 전에 정답 패치를 만드는 경우가 많다. 저자들은 그 이후 남은 단계와, 계속된 활동이 정답을 되돌리는 사례를 측정한다. (source)

저자와 소속

Musa Cim, Burak Topcu, Mahmut Taylan Kandemir. 검토한 기록에서는 소속이 확인되지 않는다. 2026-11-11 제출, v1. (source)

방법

저자들은 모델 5개, 에이전트 프레임워크 2개, SWE-bench 데이터셋 3개에서 생성된 서로 다른 저장소 패치를 모두 기록하고 테스트한다. 종료 지연은 첫 정답 패치부터 실행 종료까지의 단계 수다. (source)

결과

  • 성공한 실행의 38–82%는 첫 소스 코드 편집에서 정답에 도달한다. (source)
  • SWE-bench Verified와 Multilingual의 성공한 실행에서, 정답 이후 단계의 비중 중앙값은 Qwen3-Coder가 35–37%, Laguna-XS.2가 54–60%다. (source)
  • 추가 단계의 대부분은 검증과 저장소 탐색이다. 1–8%의 사례에서는 계속된 활동이 앞서 만든 정답 패치를 되돌려 최종 해법이 틀리게 된다. (source)

의의

해석: Eval Harness Configuration에서는 최종 결과뿐 아니라 궤적도 측정해야 한다. Agents (LLM Agents)에서 첫 정답 시점과 최종 정답 여부는 하나의 통과율에 가려진 비용과 퇴보를 드러낸다. (source)

열린 질문

초록은 배포 가능한 중단 규칙을 확립하지 않는다. 분석은 패치를 사후에 테스트한다. 숨겨진 테스트 없이 에이전트가 첫 정답 패치를 식별할 수 있는지, 어떤 검증 단계가 여전히 필요한지는 여기서 열린 질문으로 남는다. 전체 실험과 코드는 검토하지 않았다. (source)

Referenced by

Sources