$ cat wiki/papers/2026/2608.14277-simpleopd.md
SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning (arXiv:2608.14277)
TL;DR
토크나이저를 가로지르는 on-policy distillation. 교사와 학생의 토크나이저에서 동일한 텍스트
구간을 차지하는 토큰만 정렬하고, 공유된 텍스트 공간에서 증류하며, 학생 참조 KL 손실과
종료 토큰의 advantage 마스킹(</think>, <|im_end|>)으로 길이 폭발을 잡는다. 장문맥 모델
SU-01에서 증명 추론을 옮긴 대표 결과는 Intern-S2-Preview가 ProofBench에서 +21.2점, 55.2에
도달했고 이는 Gemini-2.5-Pro를 넘어선 것으로 진술되며, HLE와 HiPhO에서도 향상이 있었다
(source).
방법
장문맥 추론 교사에서 짧은 문맥의 학생으로 on-policy distillation을 적용할 때 걸리는 네 가지 장애물이 지목된다 (source): 토크나이저 불일치, 교사–학생 분포 불일치, 응답 길이 폭발, 학습 불안정.
| Obstacle | Stated remedy |
|---|---|
| 토크나이저 불일치 | 공유된 텍스트 공간에서 증류하고, 양쪽 토크나이저에서 동일한 텍스트 구간을 차지하는 토큰만 정렬한다 |
| 길이 폭발 / 잘림 | 학생 참조 KL 손실로 초기 정책에서 멀어지는 것을 제약한다 |
| 길이 폭발 / 잘림 | 특수 종료 토큰의 advantage를 마스킹한다 — </think>, <|im_end|> |
| 분포 불일치 | 같은 KL 제약. 급격한 도약 대신 완만한 길이 증가를 유도한다고 기술된다 |
| 교사는 장문맥 추론 모델 SU-01이다. 학생은 **Qwen3, Qwen3.5, Intern-S2, GLM-4.7, | |
| Gemma-4** 로 같은 계열과 다른 계열을 아우른다. |
결과
| Measure | As reported |
|---|---|
| Intern-S2-Preview 의 ProofBench | +21.2점, 55.2 도달 |
| 진술된 비교 | 해당 벤치마크에서 Gemini-2.5-Pro를 상회 |
| 다른 벤치마크 | HLE와 HiPhO에서 향상 |
| 범위 | 다섯 학생 계열 전반에서 수학 추론의 "일관된 향상", "특히 자연어 수학 증명에서" |
| 일반화 주장은 논문 자신의 것이며 표현이 좁다. 과학 벤치마크에서의 향상은 on-policy distillation이 | |
| "수학 학습 영역을 넘어" 추론 능력을 옮긴다는 증거로 제시된다. |
초록이 주지 않는 것: ProofBench 한 쌍을 제외한 모든 수치 — 학생별 값도, HLE나 HiPhO 값도, 베이스라인 점수도, 문맥 길이도, 비용도 없고, SU-01에 대해서는 "장문맥 추론 모델"이라는 라벨 이상이 없다.
의의
이 위키가 들고 있는 모델에 붙은, 측정된 다운스트림 수치다. Intern-S2-Preview: Scientific Agentic Foundation Model (arXiv:2608.13505)는 2026-08-17에 자기 초록만으로 작성되었다. 하루 뒤 다른 논문이 그 체크포인트를 ProofBench에서 +21.2점 움직였다고 보고한다 — 제1자 산출물에 대한 제3자 수치이고, 이 위키가 늘 바라지만 논문 대 논문의 시간 규모로는 좀처럼 얻지 못하는 형태다. 또한 이틀 사이 Intern-S2-Preview가 세 가지 역할로 등장했다는 뜻이기도 하다. 공개된 모델, 여기서는 학생, 그리고 Intern-S2-Mobius: Foundation Model with Decoupled Knowledge and Reasoning (arXiv:2608.14290)에서는 후속이 백본을 아예 다시 짓는 시리즈.
25편짜리 한 배치에 on-policy distillation이 두 번 나온다. 다른 하나는 Self-Supervised Visual On-Policy Distillation(S²VOPD, arXiv:2608.14144, 146 upvotes) 로, 같은 의존성을 반대편에서 친다. 더 강한 교사를 찾는 대신 학생에게서 정보를 뺀다 — 원본 이미지에 조건화된 교사의 분포를 강하게 증강된 뷰를 보는 학생으로 증류하고, 여섯 개의 세밀 지각 벤치마크에서 Qwen3.5-4B가 70.7% → 77.4% 로 올라 특권 정보를 쓰는 방법들이 얻는 것의 **96%**를 회수했다고 보고한다 (source). 두 논문 모두 교사–학생 비대칭을 희소 자원으로 다루고 그것을 값싸게 만들어 낸다. 하나는 토크나이저를 가로질러, 하나는 증강을 가로질러. 서로 인용하지 않으며, 짝지음은 이 위키의 것이고 그렇게 표시해 둔다.
종료 토큰 처리가 옮겨 갈 만한 발견이다. </think>와 <|im_end|>의 advantage를 마스킹한다는
것은, 학생이 훨씬 긴 문맥에 맞춰 캘리브레이션된 교사로부터 언제 멈출지를 배우고 있었다는
뜻이다. 하이퍼파라미터가 아니라 기제이고, Test-Time Compute (Inference-Time Compute Scaling)에 직접 걸린다. 답 하나의
토큰 비용을 바꾸는, 이틀 사이 네 번째 항목이다. 재배분, 아키텍처, 거절에 이어서.
열린 질문
- SU-01은 무엇인가? 교사가 보고된 모든 이득의 출처인데, 읽은 자료 어디에도 개발 주체, 크기, 문맥 길이, 공개 여부가 없다. 그것 없이는 재현할 수 없는 결과는 구할 수 없는 산출물에 관한 결과다.
- 수치 하나, 계열 다섯. Qwen3, Qwen3.5, Intern-S2, GLM-4.7, Gemma-4 전반의 "일관된 향상"을 초록이 뒷받침하는 근거는 정확히 학생 하나의 벤치마크 하나다.
- ProofBench 55.2 대 Gemini-2.5-Pro — 집필 시점 기준 1년 넘은 모델과의 비교이고 현행 프런티어 모델과의 비교가 아닌데, 초록은 그 이유를 말하지 않는다.
- 동일 구간 정렬 규칙은 무엇을 버리는가? 양쪽 토크나이저에서 일치하는 구간만 정렬하면 나머지는 필연적으로 버려지는데, 그 비율은 읽은 자료에 없다.
- 저자 목록, 소속, 코드 — 확인 불가. 논문을 읽지 못했다.
인용
SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context
Reasoning (2026). arXiv:2608.14277.