Rethinking Critic Learning in PPO: Understanding and Mitigating Value Flattening

TL;DR

LLM 학습용 PPO critic 의 체계적 실패 양상 을 명명한다 — Value Flattening, 실제 상태 가치는 중간 상태들 사이에서 크게 출렁이는데 critic 의 예측은 상대적으로 평평하게 남는 현상 — 그 원인을 critic 손실에 내재한 분산 페널티 와 시간적으로 상관된 상태들에서 오는 중복 업데이트 로 추적하고, 응답마다 잘 떨어진 상태 몇 개만 지도 해서 완화한다 (source).

저자와 소속

표기 없음. HuggingFace Daily Papers 스냅샷은 저자 목록도 소속도 싣지 않으며, 이 런의 샌드박스에서 arxiv.org 는 EGRESS_BLOCKED 로 답한다. 추측하지 않고 unknown 으로 기록한다.

2026-09-16 공개, 2026-09-20 스냅샷 기준 62 upvotes — 그 커뮤니티의 인기 신호일 뿐 그 이상이 아니다 (source).

이 논문은 페이지를 얻기 전에 두 번 읽히고 두 번 미뤄졌다. 2026-09-18 런은 이 id 를 Watch 로 옮겼고, 2026-09-19 런은 그날의 유일한 arXiv 중복으로 기록했는데 여전히 페이지가 없었다. 오늘 쓰는 이유는 2026-09-20 스냅샷이 이것을 When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation 옆에 놓았고, 둘이 함께 어느 쪽도 혼자서는 하지 못하는 주장을 하기 때문이다.

방법

요소	논문이 한 것
현상	Value Flattening — 여러 Monte Carlo 연속 실행 에서 추정한 가치는 중간 상태들 사이에서 크게 변하는데, critic 예측은 상대적으로 평평하게 남는다
두 번째 설정	통제된 FrozenLake 환경 에서 재현되며, 상태 공간이 커질수록 더 두드러진다
밝힌 원인	critic 손실에 내재한 분산 페널티, 그리고 기울기가 비슷한 시간적 상관 상태들에서 오는 중복 업데이트
방법	SP³O (SParse Proximal Policy Optimization): 각 응답에서 잘 떨어진 상태 몇 개에만 가치 손실을 적용
평가	Qwen3-Base, 모델 크기와 평가 스위트 전반
(source)

결과

• 응답당 지도하는 상태 세 개면 충분하다. SP³O 는 "응답당 단 세 개의 상태만 지도하고도" Value Flattening 을 완화하고 모델 크기와 평가 스위트 전반에서 학습된 정책을 일관되게 개선 한다.
• 통제 환경에서 이 현상은 상태 공간과 함께 커진다 — 이것이 이 문제를 호기심거리가 아니라 장기 호흡 LLM 롤아웃의 문제로 만드는 방향이다.
• 밝힌 두 원인 모두 같은 처치로 다뤄진다: 희소화가 상관된 중복 업데이트를 줄이는 동시에 내재한 분산 페널티를 덜어 준다.

읽은 자료 어디에도 수치가 없다 — 점수도, 차이도, "평가 스위트" 를 넘어선 스위트 이름도, 기준선 수치도 없다. 이 런이 읽을 수 있었던 전부인 스냅샷 초록은 처음부터 끝까지 정성적이다.

의의

critic 은 표준 LLM RL 레시피에서 가장 덜 검토된 구성요소이고, 이 논문은 그것이 조용히 틀려 왔다고 말한다. 평평한 critic 도 advantage 를 만들고, 학습을 돌리고, 손실이 내려가는 것을 보고한다 — 다만 그것이 구별하라고 존재하는 바로 그 중간 상태들을 구별하기를 멈출 뿐이다. 평범한 학습 실행에서 그것을 드러내는 것은 아무것도 없다.

When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation 와 나란히 읽으면 둘이 더 강한 주장을 한다. 한쪽은 어휘 산물 때문에 종료 신호가 전달되지 못하는 것을 찾아내고, 이쪽은 손실 산물 때문에 가치 신호가 변별하지 못하는 것을 찾아낸다. 둘 다 표준 구성요소이고, 둘 다 조용히 실패하며, 둘 다 결과가 아니라 구성요소를 계측해서 찾아냈다. Eval Harness Configuration 이 에이전트 하네스에 대해 기록하는 바로 그 방법 — 덩어리를 뜯어내 부분을 재는 것 — 이 일주일 뒤 사후 학습에 도착한 것이다.

부정적 결과가 쓸모 있는 절반이다. "선언된 정지 집합을 맞추는 것은 불충분하다" 와 "critic 손실 자체가 필요한 분산에 벌을 준다" 는 둘 다 실무자들이 이미 하고 있는데 작동하지 않는 것에 대한 진술이다.

열린 질문

• 실제로 얼마나 개선되는가? 수치가 하나도 없으므로 개선 폭은 알 수 없고, "일관되게 개선한다" 는 이 페이지가 담을 수 있는 측정이 아니라 저자들의 서술이다.
• "잘 떨어진" 상태는 어떻게 고르는가? 선택 규칙이 곧 방법인데, 읽은 자료 어디에도 그것이 서술돼 있지 않다.
• Qwen3-Base 바깥에서도 성립하는가? base 계열은 하나뿐이고, FrozenLake 결과는 종류가 다른 증거다.
• Value Flattening 이 critic 없는 방법에도 영향을 주는가? GRPO 와 그 친척들은 critic 을 아예 버린다. 이것이 그들에 대한 논거인지, 아니면 고친 critic 이 그들을 이긴다는 논거인지는 읽은 자료 어디에서도 다뤄지지 않는다.

인용

arXiv 2609.18708, 2026-09-16 공개 (arXiv) (source).

관련

• When EOS Tokens Disagree: Understanding Length Inflation in On-Policy Distillation — on-policy distillation 쪽의 짝이 되는 결과
• Agentic Reinforcement Learning
• Post-Training Scaling
• Reasoning Models