$ cat wiki/papers/2026/2611.17167-decision-model-roles.md
행동자, 판정자, 교사로서의 의사결정 모델
TL;DR
행동 실행이 약한 모델도 전체 궤적을 관찰한 뒤에는 유용한 훈련 피드백을 제공할 수 있다. 저자들은 의사결정 모델을 행동자, 판정자, 교사라는 서로 다른 역할에서 시험한다. (source)
저자와 소속
Haochen Liu, Qianhao Zhu, Zixuan Wang, Dingming Li, Tongbo Chen, Peng Qiu, Yingqi Qu, Weiming Lu, Jun Xiao, Yongliang Shen. 수집한 메타데이터만으로 소속은 확인되지 않는다. 최초 제출일은 2026-11-12이다. (source)
방법
ALFWorld에서 의사결정 모델 세 개와 일반 LLM 세 개를 행동자 및 판정자로 비교하고, ALFWorld와 WebShop에서 JEV를 교사로 사용한다. 판정자는 전체 궤적을 본 뒤 과제의 최종 성공을 예측하는 대신 각 행동이 도움이 됐는지를 평가한다. (source)
결과
행동자 여섯 개 모두 더 쉬운 하위 목표에 이끌려 먼저 달성해야 하는 목표에서 벗어날 수 있지만, 사후 판정자는 선행 목표를 향한 진전을 인정한다. 초록에 따르면 JEV로 Qwen2.5-1.5B 정책을 가르치면 GRPO 대비 성공률이 ALFWorld에서 72.8%에서 82.9%로, WebShop에서 56.8%에서 71.4%로 높아진다. 이는 성공률이며 상대적인 백분율 증가량이 아니다. (source)
의의
Agentic Reinforcement Learning에서는 유용한 감독 신호가 반드시 행동을 가장 잘하는 정책에서 나올 필요가 없다. 사후 관찰은 행동자가 미리 예상해야 할 결과를 드러낸다. SO-Arena는 종합 역량을 넘어선 신뢰성을 별도로 시험한다. 두 연구의 결과를 합산하지 않으면서 역할별 평가의 필요성을 뒷받침한다. (source) (reliability)
열린 질문
논문 전체의 방법과 코드는 검토하지 않았다. 초록만으로는 훈련 비용, 시험한 환경 밖으로의 전이, 모든 교사 모델에서 같은 결과가 나오는지를 확인할 수 없다. (source)