진화하는 에이전트 인터페이스

TL;DR

Agent S4는 기반 모델을 고정한 채 과제 궤적에서 컴퓨터 사용 인터페이스와 사용 지식을 진화시킨다. 저자들은 고정된 인터페이스보다 성능이 좋아졌다고 보고한다. 이는 새 모델 출시가 아니라 시스템 수준의 결과다. (source)

저자와 소속

Saaket Agashe, Yuzhe Yang, Gonzalo Gonzalez-Pumariega, Bhuvan Chandra Koduru, Chih-Lun Li, Jiachen Yang, Ang Li, Xin Eric Wang. 초록 기록으로는 소속을 확인할 수 없다. 최초 제출일은 2026-10-20이다. (source)

방법

메타 에이전트가 성공 여부 라벨 없이 합성 훈련 과제의 궤적을 살핀 뒤, 인터페이스와 사용 지식의 저장소를 만들고 수정한다. 개체군 기반 진화는 메타 에이전트가 전혀 보지 못하는 검증 과제로 저장소를 선택하며, 일반화하는 변경에 보상을 주는 것을 목표로 한다. 코드 저장소는 Agent S이며, 코드와 논문 전문은 검토하지 않았다. (source)

결과

Qwen 3.8 27B를 사용하는 Agent S4는 **OSWorld V2에서 이진 점수 21.3%**에 도달하며, 이는 같은 모델에 고정 인터페이스를 사용했을 때의 **3.8×**다. 초록은 GPT-5.5의 13.0%, Claude Opus 4.8의 **20.6%**와 비교하며, 비용은 각각의 약 4.3%, **1.5%**라고 보고한다. 같은 기반 모델로 ScienceBoard 성공률은 **41.4%에서 58.6%**로 높아진다. 이는 저자들이 보고한 결과이며, 독립적으로 재현한 측정치가 아니다. (source)

의의

이 연구는 에이전트가 사용할 수 있는 인터페이스와 각각을 언제 사용할지에 관한 지식을 명시적인 최적화 대상으로 삼는다. 기반 모델을 고정하고 수행 가능한 행동의 인터페이스를 바꿈으로써 Agents (LLM Agents)와 Eval Harness Configuration의 논의를 확장한다. (source)

열린 질문

초록에는 인터페이스 진화의 총비용, 검증 세트 크기, 보고된 비용 비교에 진화 비용을 나누어 반영했는지가 명시되지 않는다. OSWorld V2 이진 점수를 부분 점수나 다른 버전의 OSWorld 결과와 합쳐서는 안 된다. 이러한 한계 때문에 보고된 성능 향상을 해석할 수 있는 범위가 제한된다. (source)

인용

• arXiv:2610.28601
• 수집한 초록과 메타데이터