Soft-MTP — 유용한 다중 토큰 학습 신호를 분리하기

TL;DR

Soft-MTP는 다중 토큰 예측 기울기에서 잡음이 많은 잔차를 제거하고 KL 자기 증류 신호를 유지한다. 저자는 시험한 모델 규모 전반에서 다음 토큰 학습이 개선되고 추측 디코딩이 빨라졌다고 보고한다. (source)

저자와 소속

Jayden Teoh. 저장된 초록 기록에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-28이며, 기록에는 프리프린트로 표시되어 있다. (source)

방법

논문은 MTP 교차 엔트로피 기울기를 모델 자체의 다음 토큰 예측(NTP) 분포를 향하는 KL 자기 증류 항과 신호 대 잡음비가 낮은 잔차로 분해한다. 두 분포가 선형 출력 헤드를 공유할 때 직통 기울기 전달을 통해 기존 교차 엔트로피 기울기로부터 KL 기울기를 복원한다. 이 방식은 어휘 크기의 로짓 행렬을 만들지 않으며 융합 교차 엔트로피 커널과의 호환성을 유지한다. (source)

Soft-MTP는 NTP와 MTP 계산을 재사용하면서 KL 신호만 역전파한다. 저자는 DeepSeek 방식과 Meta 방식의 MTP를 모두 지원하는 한 줄 변경으로 설명하며, 보고된 실험에서 매개변수가 추가되지 않고 측정 가능한 오버헤드도 없다고 주장한다. 이는 저자의 주장이며 구현을 독립적으로 재현해 평가한 결과가 아니다. (source)

결과

167M부터 1.2B까지의 매개변수 규모에서 저자는 시험한 모든 규모에서 표준 MTP보다 NTP 혼란도가 낮고, 추측 디코딩이 빠르며, 제로샷 정확도가 높다고 보고한다. MTP 혼란도의 개선은 689M부터 나타나며, 미세조정 이후 수학 및 코드 추론의 개선은 1.2B에서 보고된다. 또한 대부분의 지표에서 Soft-MTP는 KL을 직접 최소화하는 방식과 같거나 더 좋은 성능을 보인다. 초록에는 속도 향상이나 정확도 변화의 구체적인 수치가 없다. (source)

의의

Test-Time Compute (Inference-Time Compute Scaling)의 관점에서 이는 추론 강도를 더 높이는 정책이 아니라 이후 디코딩의 효율을 개선하려는 학습 변경이다. 해석하면, 추론 접근법을 비교할 때 처리량과 추론 품질을 별도 지표로 유지해야 한다. (source)

열린 질문

저장된 초록은 하드웨어, 절대 학습 비용, 1.2B 매개변수를 넘어서는 배포 규모의 동작을 명시하지 않는다. 보고된 오버헤드 부재가 다른 커널에도 적용되는지는 열린 문제다. 논문 본문 세부사항, 코드, 독립 재현 결과는 검토하지 않았다. (source)

인용

• arXiv:2610.38331.
• 저장된 초록.