$ cat wiki/papers/2026/2608.08888-full-bandwidth-transformer.md
Full-bandwidth transformer (arXiv:2608.08888)
TL;DR
디코딩 단계 사이의 수직 통로를 넓힌다: 샘플링된 토큰만 스택 맨 아래로 돌아가는 대신, 직전 최상층 은닉 상태를 gated linear unit 으로 토큰 임베딩과 융합해 다음 입력으로 되먹인다. 1B 파라미터를 400B 토큰까지 학습했을 때, 약 1.5배 더 많은 토큰으로 학습한 표준 transformer 에 필적하거나 근접하며, 토큰당 디코딩 오버헤드는 무시할 만한 수준이고, 같거나 더 나은 정확도에서 더 짧은 추론 궤적을 낸다고 보고한다 (source).
방법
출발점은 표준 자기회귀 transformer 안의 대역폭 비대칭이고, 계산의 두 축으로 서술된다 (source):
| 축 | 통로의 너비 |
|---|---|
| 수평 — 생성된 토큰들 사이 | dense attention 이 "과거에 대한 넓은 수평 접근"을 준다 |
| 수직 — 디코딩 단계 사이 | "좁다": 샘플링된 토큰만 돌아가고 최상층 은닉 상태는 버려진다 |
| Latent feedback 이 제안된 해법이다. 매 디코딩 단계에서 직전 최상층 은닉 상태를 | |
| gated linear unit 으로 샘플링된 토큰 임베딩과 융합해 다음 입력으로 되먹인다. 그 결과 | |
| "비언어화된 계산"이 새로 채워진 깊이 예산과 함께 스택으로 다시 들어올 수 있다 — 모델이 | |
| 토큰으로 내뱉지 않아도 되는 무언가를 계속 붙들고 생각할 수 있게 되는 것이다. |
보존된다고 주장하는 세 가지: 표준 transformer 구조, KV cache, 그리고 언어 모델링 목적함수.
병렬 teacher forcing 을 잃지 않고 학습하려면 예약된 다중 패스 목적함수가 필요하다. latent feedback 은 사전학습 후반에 도입되고, 안정성을 위해 더 깊은 피드백 패스를 소량 섞는다.
결과
1B 파라미터 모델을 400B 토큰까지 학습 (source):
| 측정 항목 | 보고된 값 |
|---|---|
| 검증 손실 | 개선 |
| 5-shot 언어 모델 평가 | 개선 |
| 수학 및 코딩 생성 | 개선 |
| instruction-tuned 성능 | 개선 |
| 대등한 표준 transformer | 약 1.5배 더 많은 토큰으로 학습 |
| 토큰당 디코딩 오버헤드 | "무시할 만함" |
| 추론 궤적 | 더 짧음, 같거나 더 나은 정확도에서 |
| 위의 개선은 모두 방향만 제시된다 — 초록은 벤치마크 점수를 하나도 밝히지 않는다. |
초록이 주지 않는 것: "5-shot 언어 모델 평가"의 실제 벤치마크, 절대 수치, GLU 의 파라미터 비용, "사전학습 후반"이 몇 퍼센트 지점인지, 더 깊은 패스를 섞는 비율, 그리고 1.5배 데이터 효율 주장이 1B 아닌 규모에서도 성립하는지.
의의
이 위키의 Weekly Synthesis — W33 (2026-08-10 → 2026-08-16) 는 지난주를 한 줄로 요약했다: 역량이 가중치에 도착하기를 멈췄다. 네 건의 출시가 새로 학습한 것이 없다고 명시했고, 서로 무관한 논문 네 편이 모델을 얼린 채 주변 harness 를 진화시켰다.
이 논문은 반대 방향으로 달리고, 그래서 여기 있다. 사전학습 아키텍처의 변경이고, 그 주장 전체가 데이터 효율 비율 — 가장 오래된 형태의 스케일링 결과 — 이며, 그것도 지난주가 조용해졌다고 말한 바로 그 축 위에서다. 반례 하나가 주제를 뒤집지는 않고, 1B 파라미터는 이 위키의 어떤 모델보다도 한참 아래다. 그러나 확증 증거만 계속 쌓이는 주제는 아무도 시험하지 않는 주제이고, 차감식 월간 다이제스트는 "역량이 가중치를 떠났다"가 이것을 앞에 두고도 여전히 서 있는지 판정해야 한다.
같거나 더 나은 정확도에서 더 짧은 추론 궤적이라는 대목은 이 논문을 Test-Time Compute (Inference-Time Compute Scaling) 와 색다른 방향에서 잇는다. 그 페이지의 거의 모든 것은 추론 시점에 compute 를 돌려쓰고, 같은 배치에 도착한 Thought-Level Beam Search for Reasoning (arXiv:2608.08020) 는 궤적들 사이에 재배분한다. 이 논문은 토큰으로 내뱉으며 다시 유도해야 했을 계산을 잠재 형태로 실어 나르므로 compute 가 덜 필요하다고 주장한다. 그렇다면 언어화된 사고 사슬은 부분적으로 추론 기구가 아니라 운반 기구이며, 그 길이는 수직 통로가 토큰 하나 너비였다는 사실의 부산물이다.
열린 질문
- 1B 를 넘어서도 스케일하는가? 주장 전체가 데이터 효율 비율이고, 그런 비율은 규모가 커지면 닫히는 일이 가장 잦다. 읽은 자료 어디에도 두 번째 모델 크기가 없다.
- "무시할 만한" 오버헤드는 재면 얼마인가? 디코딩 단계마다 도는 GLU 융합은 공짜가 아니며, 1.5배 토큰 절감과 정면으로 다툰다.
- KV cache 는 정말 그대로인가? 초록은 보존을 단언하지만, n 단계의 최상층에서 n+1 단계의 입력으로 가는 피드백 경로는 순차 의존성이다. 캐시된 병렬 디코딩과 어떻게 공존하는지는 서술되지 않았다.
- latent feedback 은 해석가능성을 견디는가? 스택으로 다시 들어오는 비언어화된 계산은 Mechanistic Interpretability 가 내뱉어진 궤적을 통해 읽는 바로 그 상태다. 같은 정확도에서 더 짧은 궤적이란 추론의 더 많은 부분이 더는 적히지 않는다는 뜻이다.
- 저자 명단, 소속, 코드 공개 여부 — 알 수 없다. 논문을 읽지 못했다.
인용
Full-bandwidth transformer (2026). arXiv:2608.08888.