MPO — 장기 에이전트를 위한 턴 수준 최적화

TL;DR

다중 스케일 정책 최적화(MPO)는 에이전트 정책 갱신을 완전한 어시스턴트 턴에 맞추면서, 토큰 사이에는 더 세밀하게 기여도를 배분한다. 저자들은 검색, 도구 사용과 자동화 전반의 개선을 보고하지만 초록에서는 개선 폭을 정량화하지 않는다. (source)

저자와 소속

Tao Ren, Hui Yang, Jia Deng, Tingyang Chen, Qiyao Wang, Shuo Tang, Ziyang Zeng, Yuhua Jiang, Guanghao Li, Huatong Song, Yining Li, Yifan Luo, Kunbao Ding, Feng Chang, Chuan Hao, Ran Tao, Bryan Dai, Jiafeng Liang, Jinyang Jiang. 캡처한 초록 기록에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-26이다. (source)

방법

출발점은 모델이 행동 토큰을 순차적으로 생성하더라도 가치 추정치가 주로 턴 사이에서 달라진다는 관찰이다. MPO는 다중 스케일 이점 추정(MAE)과 턴 수준의 중요도 샘플링을 결합해, 기여도 배분과 정책 갱신을 모두 에이전트가 환경과 상호작용하는 단위에 맞춘다. (source)

결과

실험은 검색, 도구 사용과 자동화 과제에서 4B와 30B-A3B 모델을 사용한다. 초록은 강력한 RL 기준선 대비 일관된 개선을 설명하지만, 기준선 이름, 개별 점수나 불확실성 추정치는 제공하지 않는다. (source)

의의

Agentic Reinforcement Learning과 Agents (LLM Agents)에서 MPO는 전체 과제를 구분 없는 토큰 흐름으로 취급하는 대신, 어시스턴트 턴을 명시적인 최적화 단위로 삼는다. 보고된 동기는 가치 변화가 어디에서 일어나는지에 관한 것이며, 전체 학습 비용이 낮아진다는 근거는 아니다. (source)

열린 질문

토큰 기여도를 어떻게 배분하는지, 기준선의 조건을 어떻게 맞추는지, 턴 길이와 도구 지연이 달라져도 개선이 유지되는지 살펴보려면 논문 전체가 필요하다. 이번 초록 검토에서는 학습 비용과 독립적 재현 여부를 확인하지 못했다. (source)

인용

• arXiv:2610.35013 — 최초 제출 2026-10-26.
• 캡처한 초록.