$ cat wiki/papers/2026/2610.12569-swe-duel.md
SWE-Duel — 코딩 에이전트가 서로의 시험을 만들고 해결한다
TL;DR
SWE-Duel은 평가 중 코딩 과제와 테스트를 생성한다. 두 에이전트가 고칠 수 있는 결함을 만드는 역할과 결함이 있다는 설명 없이 풀 리퀘스트를 검토하는 역할을 번갈아 맡는다. (source)
저자와 소속
Wei Minn, Zhensu Sun, Lwin Khin Shar 및 David Lo. 2026-10-08 제출. 초록 페이지는 소속을 명시하지 않는다. (source)
방법
Red는 맥락이 분리된 세 세션에서 기능을 추가하고, 기능 테스트를 제공하며, 비공개 유발 테스트와 함께 미묘한 버그를 심는다. 기능 테스트와 기존 저장소 테스트는 통과하고 버그 테스트는 실패하며 새로운 작성자 세션이 사전 정보 없이 수정해야만 과제가 채택된다. Blue는 수정본이 세 테스트 모음을 모두 통과하게 해야 하며, 이후 에이전트들은 역할을 교환한다. (source)
결과
토너먼트는 모델과 하네스를 짝지은 참가자 11개, 저장소 15개, 다섯 언어, 1,500턴을 다룬다. Codex CLI와 결합한 GPT-5.5는 검토한 결함의 **98.3%**를 고쳐 전체 1위이자 가장 강한 해결자다. mini-swe-agent와 결합한 Claude Opus 4.8은 **Red 승률 27.3%**로 전체 2위이자 가장 강한 과제 작성자다. 한 모델 계열 안에서 최신 작성자의 과제는 고정된 기준 해결자를 **42.9%**에서 이기며, 이전 작성자는 **4.0%**다. 저자들은 마지막 결과를 과제 난도가 확장된다는 예비 증거로 설명한다. (source)
의의
이 연구는 어려운 과제를 만드는 능력과 해결하는 능력을 구분하고, 실행 시점에 평가 내용을 만든다. Eval Harness Configuration 관점에서 참가자는 명시적으로 모델과 하네스의 쌍이다. 그 순위를 맥락과 무관한 모델 가중치의 순위로 읽어서는 안 된다. (source)
열린 질문
초록은 모든 참가자 설정, 전체 비용, 독립 재현을 제공하지 않는다. 실행 중 과제를 생성하는 방식은 고정 과제의 유출을 다루지만, 이것만으로 생성된 모든 테스트 모음이 모든 유효한 구현을 포괄한다고 확립되지는 않는다. (source)
인용
arXiv:2610.12569, 2026-10-08 제출. 수집한 초록.