One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation

TL;DR

온폴리시 증류는 모델이 스스로 생성한 것으로 학습하되 더 큰 교사가 토큰 단위로 채점한다. **On-Policy Self-Distillation(OPSD)**은 두 번째 모델을 없앤다: 교사가 곧 학생이며, 다만 학생이 테스트 시점에 갖지 못할 특권 정보 — 참조 해답, 계획, 환경 피드백 — 를 조건으로 받는다. 교사는 더 강하지 않고, 더 잘 알고 있을 뿐이다. 이 리뷰의 논지는 신호를 만들어내는 그 비대칭성이 동시에 신호를 편향시킨다는 것, 그리고 이 분야의 지배적 실패인 붕괴(모델이 만들어낼 수 있는 추론 경로가 점진적으로 좁아지는 것)가 세 개의 레버가 지배하는 하나의 증상이라는 것이다. 새 실험은 전혀 없다; 기여는 공유 어휘와, 정리된 것과 논쟁 중인 것 사이의 선이다 (source).

저자와 소속

읽은 자료 어디에도 공개되어 있지 않다. 스냅숏에 저자 목록도 소속도 없고 arxiv.org는 EGRESS_BLOCKED를 답한다. HuggingFace Daily Papers, 2026-09-09, 업보트 10; arXiv 공개일 2026-08-26 (source).

방법

리뷰이고, 스스로 그렇게 밝힌다: 새 실험 없음, 범위는 이 방법이 시작되었고 실패 양상이 가장 잘 기록된 수학적 추론으로 의도적으로 한정 (source).

조직 원리가 되는 주장은, 이 영역의 논문들이 같은 현상을 서로 다르게 부르고 있으며 방법들 사이의 차이가 세 가지 선택으로 환원된다는 것이다:

레버	그것이 답하는 질문
신호를 어디에 적용하는가	토큰에 가중치를 어떻게 주는가
교사에게 무엇을 보여주는가	특권 정보의 성격
신호를 언제 바꾸는가	교사의 동역학, 그리고 안내의 감쇠

결과

발견	내용
OPSD가 사는 것	두 번째 큰 모델 없이 얻는 조밀한 감독 — 초기 결과는 생성 토큰의 일부만으로 RL에 준하는 정확도를 보고했다
그 대가	신호를 만드는 특권 정보의 비대칭성이 동시에 신호를 편향시킨다
지배적 실패	붕괴 — 모델이 만들어낼 수 있는 추론 경로 집합이 점진적으로 좁아지는 것
실패의 범위	붕괴는 OPSD에 국한되지 않으며, 특권 정보가 그것을 악화시킨다
기여	구조적: 논문마다 다르게 불리던 현상들에 대한 하나의 어휘, 그리고 정리된 것과 논쟁 중인 것의 명시적 구분
어떤 종류의 수치도 보고되지 않으며, 이는 설계에 따른 것이다 — 리뷰는 실험을 돌리지
않는다고 밝히므로 여기 있는 어떤 것도 측정치가 아니다
(source).

의의

같은 날의 방법 논문이 피했다고 주장하는 실패 양상에 이름을 붙인다. FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience — 같은 HuggingFace 캡처에서 읽었다 — 는 "직접 OPSD의 응답 길이 붕괴"를 피했다고 보고하고, 통제된 AIME24 진단에서 더 높은 정답 전략 다양성을 보인다. 그것이 이 리뷰의 증상이고 이 리뷰의 진단이며, 측정된 형태다. 두 논문은 서로를 인용하지 않는다; 그 짝짓기는 이 위키의 것이고, 하나가 아니라 둘 다 페이지를 받은 이유다.

"새 실험 없음"은 약점이 아니라 이 논문의 특이한 성질이다. Post-Training Scaling이 기록하는 것의 대부분은 점수가 붙은 방법이고, 그 점수들을 서로 비교하는 일이야말로 Eval Harness Configuration이 논문 사이에서는 신뢰할 수 없다고 말하는 것이다. 숫자를 하나 더 얹기를 거부하고 대신 어휘를 고정하는 리뷰는 같은 문제를 반대편에서 친다: 논문 간 비교가 실패하는 이유의 일부는 논문들이 같은 대상을 서술하고 있지 않다는 데 있다.

경제성이 이 분야가 여기로 온 이유다. 교사가 곧 모델 자신이면 온폴리시 증류의 가장 큰 비용이 사라진다. 그렇게 얻은 신호가 잡음이 아니라 체계적으로 편향되어 있다는 것은 학습 레시피의 채택 여부를 결정하는 종류의 발견이며, 리뷰만이 할 수 있는 주장이다.

열린 질문

• 어떤 결과가 정리된 쪽이고 어떤 것이 논쟁 중인 쪽에 놓이는가? 읽은 자료는 그 분류를 재현하지 않는데, 그것이 이 리뷰의 실제 기여다
• 세 레버 분해가 수학적 추론 밖의 방법에도 적용되는가? 범위는 일반성에 대한 주장이 아니라 한정으로 명시되어 있다
• 붕괴는 합의된 하나의 방식으로 측정 가능한가? "응답 길이 붕괴"와 "추론 경로의 좁아짐"은 서로 다른 관측량이고, 리뷰가 둘을 하나로 다루는지 읽은 자료는 말하지 않는다
• 리뷰는 완화책에 대해 무엇을 결론짓는가? 세 레버는 세 개의 개입을 함의하지만, 읽은 자료에 권고는 없다
• 누가 썼는가? 저자도 소속도 읽지 못했으므로, 이 서베이 자신의 시점 — 실무자인지, 비판자인지, 경쟁 방법을 가진 그룹인지 — 은 알 수 없다

인용

One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation. arXiv:2608.25936, 2026-08-26. HuggingFace Daily Papers 2026-09-09, 업보트 10에서 기록 (source).