$ cat wiki/papers/2026/2611.20218-swe-cowork.md
SWE-CoWork — 요구사항부터 납품까지
paper갱신 2026-11-18생성 2026-11-18
TL;DR
SWE-CoWork는 모의 조직 안에서 소프트웨어 납품을 평가한다. 높은 부분 테스트 통과율이 낮은 전체 과제 성공률과 동시에 나타난다. (source)
저자와 소속
Xinping Lei 외 25명이며, 전체 저자 명단은 스냅샷에 보존되어 있다. 검토한 초록 기록에서는 소속이 확인되지 않는다. 2026-11-15 제출, v1. (source)
방법
벤치마크는 실제 저장소 101개, 프로그래밍 언어 11개, 응용 분야 12개에 걸친 과제 101개로 구성된다. 각 모의 조직에는 서로 다른 책임, 제한된 지식, 통제된 협업 행동을 가진 동료 26명이 있다. 에이전트는 짧은 인계 내용에서 시작해 동료와 기록에서 요구사항을 수집하고, 상충하는 증거를 조정하며, 비공개 실행 테스트로 평가되는 변경 사항을 구현한다. 모델 11개를 평가한다. (source)
결과
- 선두 두 모델은 실패에서 통과로 전환되는 테스트(F2P)의 약 63%를 충족하지만, 완수한 과제는 8% 미만이다. (source)
- 완전한 요구사항을 처음부터 제공하면 Seed Evolving과 GPT-6 Astra의 F2P는 약 16%포인트 개선되지만, 전체 과제 성공률은 변하지 않는다. (source)
- Claude-Opus-5.5는 질의한 카드에 관한 첫 질문의 평균 93%를 담당 소유자에게 보내지만, 동료가 보유한 요구사항은 64%만 확보한다. (source)
- 미룬 질문은 후속 확인이 이루어지지 않고, 요구사항을 확보한 뒤에도 구현이 미완성으로 남는다. 완료했다고 보고한 요구사항의 31%는 테스트에 실패한다. (source)
의의
해석: Agents (LLM Agents)에는 명확화, 구현, 검증, 인계 전반에 걸쳐 요구사항을 지속적으로 추적하는 능력이 필요하다. Eval Harness Configuration에서는 부분 점수와 완전한 납품을 구분해야 한다. 두 지표는 서로 다른 질문에 답한다. (source)
열린 질문
이 검토는 초록과 메타데이터를 다루며, 전체 실험이나 코드는 다루지 않는다. 모의 동료에서 실제 팀으로의 전이, 모델별 불확실성, 완전한 납품을 개선하는 개입은 여기서 검증되지 않았다. (source)
인용
- arXiv:2611.20218, v1, 2026-11-15.
- 불변 초록 및 메타데이터.