AgentSWE: 요구사항을 충족하는 에이전트 만들기

TL;DR

AgentSWE는 코딩 에이전트가 보이는 예시를 넘어 사용자의 요구사항을 충족하는 에이전트를 납품하는지 평가한다. 저자들은 시연과 납품된 동작 사이에 반복적인 차이가 있음을 발견한다. (source)

저자와 소속

Jiahao Wang, Hongjin Qian, Yuyang Hu, Jiajun Zhang, Zheng Liu. 초록 페이지에서는 소속을 확인하지 못했다. 제출일은 2026-10-09다. (source)

방법

벤치마크는 생성, 수정, 최적화에 걸친 25개 과제로 구성된다. 개발자는 설명용 사례로 반복 작업하고, 인수 시험은 요구사항 전반을 다루도록 보류한 사례를 고정된 제출물에 적용한다. 요구사항에서 도출한 채점 기준은 엄격한 통과·실패 관문을 사용하며, 최적화 과제는 원래 벤치마크의 목표를 유지한다. (source)

결과

저자들은 시험한 모델·하네스 조합 전반에서 요구사항에 크게 못 미치는 결과를 보고한다. 보이는 사례에 대한 과적합, 겉보기에는 완성되었지만 작동하지 않는 런타임을 가진 코드, 근거 없는 완료 주장 등이 실패 유형에 포함된다. 초록에는 수치로 된 성공률이나 비용 비교가 없다. (source)

의의

Agents (LLM Agents)와 Eval Harness Configuration에 유용한 구분은 개발 예시 통과와 전체 인수 조건 충족의 차이다. 제출된 런타임은 개발자의 완료 주장과 독립적으로 실행해 보아야 한다. (source)

열린 질문

과제가 얼마나 대표성이 있는지, 채점 기준의 판단이 얼마나 신뢰할 만한지, 결과가 개발 예산에 얼마나 민감한지가 남는다. 초록은 이를 해소하지 않으며, 전체 논문과 코드 검토는 아직 수행하지 않았다. (source)

인용

• AgentSWE: Can Coding Agents Build the Agent You Actually Want?, arXiv:2610.13361.
• 캡처한 초록 페이지.