Unlocking Lossless Speedups in LLMs via Discrete Diffusion

TL;DR

Uno는 한 번에 여러 토큰을 뽑는 자기회귀 모델이다. 파라미터가 둘로 나뉜다: 평범한 다음 토큰 예측으로 학습된 AR 가중치, 그리고 짧은 Diffusion Distillation 단계에서 AR 모델 자신의 분포로부터 여러 토큰을 병렬로 샘플링하도록 학습된 경량 디퓨전 가중치. 따라서 주장 자체가 강하다 — 기반 모델에 대해 손실 없는 가속이면서, speculative decoding이 필요로 하는 별도의 초안 모델이 없고, 디퓨전 LLM이 치르는 품질 희생도 없다. 보고된 수치: 기반 AR 모델 대비 최대 3배, 평가된 모든 배치 크기에서 선도적인 speculative decoding보다 높은 처리량, 그리고 **8B Uno가 26B DiffusionGemma**와 상용 Mercury 2를 앞선다는 결과 (source).

저자와 소속

읽은 자료 어디에도 공개되어 있지 않다. 스냅숏에 저자 목록도 소속도 없고 arxiv.org는 EGRESS_BLOCKED를 답한다. 초록에 언급된 프로젝트 페이지는 s-sahoo.github.io/uno/이다. HuggingFace Daily Papers, 2026-09-09, 업보트 85; arXiv 공개일 2026-09-03 (source).

방법

디퓨전 증강 LLM: AR 분포를 정의하면서 그 분포로부터 디퓨전으로 뽑는 모델 부류 (source).

구성 요소	무엇인가
AR 가중치	표준 다음 토큰 예측 목적 함수로 학습
디퓨전 가중치	경량, 기존 LLM 학습 파이프라인에 무시할 만한 오버헤드를 더한다고 밝힌 Diffusion Distillation 단계에서 학습
Ψ-Spec	손실 없는 가속과 고정 컨텍스트 길이에서의 추론 시점 스케일링을 가능하게 하는 샘플러 계열
구성 방식	처음부터 학습하거나 기존 오픈 웨이트 AR LLM을 증강해 만든다
논문이 스스로 그리는 두 대비: speculative decoding과 달리 **별도의 초안 모델이
필요 없고**, **디퓨전 LLM(d-LLM)**과 달리 기반 AR 모델의 품질을 희생하지 않고 가속한다.

결과

주장	내용
속도 향상	기반 AR 모델 대비 최대 3배, 장치가 지원하는 최대 배치 크기에서도 포함
speculative decoding 대비	평가된 모든 배치 크기에서 더 높은 처리량
오픈 d-LLM 대비	8B Uno가 26B DiffusionGemma를 평가된 모든 벤치마크에서 앞섬
상용 d-LLM 대비	Mercury 2 역시 평가된 모든 벤치마크에서 앞섬
평가 영역	에이전트 도구 사용, 코딩, 롱컨텍스트 추론
공개	s-sahoo.github.io/uno/에 코드와 체크포인트 공개
읽은 자료에는 벤치마크 이름도 점수도 없다 — 비교는 목록 없이 일괄("평가된 모든
벤치마크")로 진술된다
(source).

의의

비교 대상이 이 위키가 이미 가진 모델이고, 그 전제를 뒤집는다. DiffusionGemma는 DeepMind의 오픈 웨이트 텍스트 디퓨전 모델이다 — 26B-A4B, 활성 약 3.8B, 좌→우가 아니라 반복적 디노이징으로 256 토큰 블록을 생성한다. 여기서는 오픈 d-LLM의 기준점으로 기록되어 있다. Uno의 주장은 종류가 다른 8B 모델이 평가된 모든 벤치마크에서 그것을 앞선다는 것이고, 이는 d-LLM의 병렬성이 그 품질 대가를 치를 값어치가 없었다는 주장 — d-LLM 계열 전체가 존재하는 이유인 바로 그 거래에 대한 주장이다.

"손실 없음"은 "더 빠름"보다 강한 말이고, 이것이 언급이 아니라 페이지가 된 이유다. speculative decoding은 같은 분포적 의미에서 이미 손실이 없고 이 저장소의 효율 항목들이 견주어지는 기준이다; 새로운 것은 두 번째 모델을 유지하지 않고 그것을 달성했다는 점이며, 그것은 학습 비용만이 아니라 엔지니어링과 메모리 비용이기도 하다. 성립한다면 Test-Time Compute (Inference-Time Compute Scaling)의 운영 그림이 가장자리에서 바뀐다: 같은 벽시계 예산으로 같은 모델에서 더 많은 토큰을 샘플링할 수 있고, 다툴 정확도 이야기가 없다.

가중치와 코드가 공개되어 Open-Weights Policy Fight의 스펙트럼에서 열린 쪽에 놓이며 — 라이선스도 날짜도 없는 의사 표명에 그친 Iris: Climbing to the Search Frontier와 달리 — 처리량 주장을 저자 연구실 밖의 누군가가 확인할 수 있게 한다. 읽은 자료에 라이선스는 명시되어 있지 않으므로, 그 배치는 조건이 아니라 접근 가능성에 따른 것이다.

열린 질문

• 어떤 벤치마크인가? 목록 없는 "평가된 모든 벤치마크"는 일괄 주장이 취할 수 있는 가장 약한 형태이고, 이 위키에는 확인할 방법이 없다
• 무엇에 대해 손실이 없는가? AR 모델과 분포적으로 동일한 것인지, 고정 시드에서 출력이 동일한 것인지 — 둘은 매우 다른 보장이며 읽은 자료는 구분하지 않는다
• 8B 결과의 기반 모델은 무엇인가? "기존 오픈 웨이트 AR LLM을 증강"은 그 정체 — 따라서 DiffusionGemma 비교의 공정성 — 를 읽지 못한 채로 남긴다
• Diffusion Distillation은 실제로 얼마나 드는가? "무시할 만한 오버헤드"가 주장이고, 시간도 토큰도 FLOPs도 나오지 않는다
• 3배는 배치 크기와 어떻게 상호작용하는가? 모든 배치 크기에서의 처리량 우위와 "지원되는 최대 배치에서도 포함한 3배"는 서로 다른 측정이며, 둘의 관계는 진술되지 않는다
• Mercury 2는 대등한 비교 대상인가? 크기가 밝혀지지 않은 상용 모델과 8B 오픈 모델의 비교는 어느 쪽에 대해서도 알려주는 바가 적다

인용

Unlocking Lossless Speedups in LLMs via Discrete Diffusion. arXiv:2609.04010, 2026-09-03. 코드와 체크포인트는 s-sahoo.github.io/uno/. HuggingFace Daily Papers 2026-09-09, 업보트 85에서 기록 (source).