BudgetMix RL — 상호작용 예산별 성능 향상 검증

TL;DR

저자들은 다중 턴 에이전트 RL의 성능 향상이 허용된 상호작용 예산에 의존하며, 강점이 복구와 장기 수행의 회복력에 집중된다고 보고한다. BudgetMix RL은 훈련 중 이 예산을 바꾼다. 이는 독립적인 재현이 아니라 프리프린트 결과다. (source)

저자와 소속

저자는 Kejian Zhu, Zhuoran Jin, Shangqing Tu, Tianyi Men, Yupu Hao, Jiachun Li, Kang Liu, Jun Zhao이다. 검토한 초록 페이지에서는 소속을 확인하지 못했다. 최초 제출일은 2026-11-04이다. (source)

방법

• Pass@(K,T)로 샘플링 폭 K와 상호작용 깊이 T를 함께 평가해, 단일 턴 예산으로는 숨겨질 수 있는 민감도를 드러낸다. (source)
• BudgetMix RL로 훈련 중 상호작용 예산을 바꾼다. 저자들은 과정 감독의 이점과 한계도 예비적으로 논의한다. (source)

결과

턴 예산이 줄면 실행 경로 수준 RL의 이점도 줄어든다. 성능 향상은 단일 단계 의사결정에 균일하게 나타나지 않는다. 저자들은 오류 복구와 회복력을 강조하며, 여러 실행 설정에서 BudgetMix RL이 견고한 성능을 보인다고 보고한다. 초록에는 수치로 된 효과 크기가 없다. (source)

의의

Agentic Reinforcement Learning과 Eval Harness Configuration 관점에서 훈련 및 배포 예산은 비교 조건의 일부다. 해석: 보고된 에이전트 성능 향상은 배포 시스템이 실제로 마주할 상호작용 제한 전반에서 확인해야 한다. (source)

열린 질문

검토한 초록은 훈련 추가 비용을 수치화하지 않으며, 결과가 작업과 모델 크기 전반에 얼마나 넓게 전이되는지도 입증하지 않는다. 본문의 방법, 코드, 독립적 재현은 여기서 검토하지 않았다. (source)

인용

What Does Multi-Turn Reinforcement Learning Really Improve in LLM Agents?

arXiv:2611.06483, 최초 제출일 2026-11-04. 프로젝트 페이지. (source)