Harness-S

TL;DR

대체 하네스로 실패한 학습 시도를 구제한 뒤, 그 과정에서 얻은 행동을 원래 하네스에서 평가하는 정책으로 이전한다. 저자들은 성능 향상을 보고하지만 초록에는 수치로 된 효과 크기가 없다. (source)

저자와 소속

Kangning Zhang, Wenxiang Jiao, Bowen Fang, Shuai Shao, Jiachen Zhu, Rong Shan, Shijian Wang, Hao Wang, Yuan Lu, Weiwen Liu 및 Weinan Zhang. 수집한 메타데이터로는 소속이 확인되지 않는다. 최초 제출일은 2026-11-03이다. (source)

방법

특화된 형제 하네스의 고정된 풀이 서로 다른 실패 유형을 겨냥한다. 구제 학습은 기본 하네스의 초기 시도가 모두 실패한 경우에만 이 풀을 호출하고, 실패한 그룹을 같은 정책이 새로 생성한 궤적으로 교체하여 강화학습에 사용한다. 라우터는 행동 프로필과 모델 투표로 변형을 선택하며, 정책이 바뀌면 프로필도 갱신한다. (source)

결과

저자들은 AppWorld, SWE-Gym 및 DBBench에서 기본 하네스로 돌아와 평가할 때 정책만 학습한 경우보다 개선되었다고 보고한다. 추론 시 라우터를 재사용하면 실행기 롤아웃 수가 같아도 추가 향상을 얻는다. 롤아웃 수가 같다고 전체 라우팅 비용이나 학습 비용까지 같다는 뜻은 아니다. (source)

의의

Agentic Reinforcement Learning 및 Eval Harness Configuration 관점에서, 학습에 유용한 실행 구조와 배포 시 반드시 필요한 의존성을 구분한다. 근거는 저자들이 초록에서 보고한 결과이며, 독립적인 재현 결과는 아니다. (source)

열린 질문

수집한 초록에는 향상 폭, 전체 연산량 및 새로운 하네스 계열에서의 견고성이 명시되지 않았다. 논문 본문의 방법과 코드는 검토하지 않았다. (source)

인용

• arXiv:2611.04277
• 수집한 초록과 메타데이터