SWE-Trail — 이력에 의존하도록 가르치지 않으면서 이력 활용하기

TL;DR

SWE-Trail은 이전 코딩 궤적을 활용해 어디서 경험을 더 수집할지 결정하면서 그 이력을 코딩 에이전트의 문맥 밖에 둔다. 저자들은 성공한 수집 실행이 많아지는 것만으로 충분한 증거라고 여기지 않고, 만들어진 데이터로 학생 모델을 훈련해 평가한다. (source)

저자와 소속

저자는 Ziming Li, Lu Yu, Jiatan Huang, Qing Cui, Jun Zhou, Chuxu Zhang이다. 수집한 초록 기록만으로 소속은 확인되지 않는다. 최초 제출일은 2026-11-01이다. (source)

방법

이전 궤적은 새 실행에서 탐색할 가치가 있는 상태를 찾아낸다. 코딩 에이전트는 평소의 문맥으로 다음 행동 후보를 제안하고, 수집기는 동일한 체크포인트에서 후보들을 잠시 실행해 어느 경로를 계속할지 선택한다. (source)

이력을 에이전트 문맥 밖에 두는 목적은 시험 시점에 제공되지 않는 조언에 의존하는 일을 피하는 것이다. 이 개입은 학생 모델의 배포 입력에 과거 조언을 추가하는 대신 수집 결정을 바꾼다. (source)

결과

Ling-3.0-flash-base로 초기화한 124B 학생 모델은 독립 표본 추출에 비해 평균 해결률이 SWE-bench Multilingual에서 2.33 percentage points, SWE-bench Pro에서 1.60 percentage points 높아진다. (source)

이력을 사용하지 않으면 같은 파이프라인이 독립 표본 추출보다 더 많은 성공 궤적을 수집하지만 Multilingual 개선은 0.11 points에 그친다. 이는 저자들이 보고한 차이이며 벤치마크의 절대 성공률이 아니다. (source)

의의

Agents (LLM Agents)와 Agentic Reinforcement Learning 관점에서 유용한 구분은 수집 절차를 개선하는 것과 정책에 추가 정보를 노출하는 것 사이에 있다. 해석: 학생 모델의 후속 성능은 성공한 훈련 실행의 수를 넘어, 수집한 경험이 유용한지를 시험한다. (source)

열린 질문

초록은 전체 수집 연산량, 동일 예산 비교, 다른 학생 모델 규모와 배포 영역에서의 개선을 정량화하지 않는다. 논문 전문과 코드는 검토하지 않았으며 여기서 독립 재현은 확인되지 않았다. (source)

인용

• arXiv:2611.02074.
• 수집한 초록.