$ cat wiki/papers/2026/2609.03820-visual-token-allocation.md
Select, Compress, Reinvest: A Controlled Study of Visual-Token Allocation in Long-Video MLLMs
TL;DR
장편 비디오 모델은 모든 프레임을 볼 수 없다 — 한 시간을 초당 한 번 샘플링하면 3,600장이고, 그중 작은 고정 몫만 살아남는다. 어느 프레임이 살아남는지는 보통 전처리로 취급되지만, 이 논문은 그것을 실험으로 다룬다. 프레임 스코어러, 프롬프트 경계, 해상도 정책, 응답 모델을 고정하고 학습이 필요 없는 선택 규칙 여섯, 장편 비디오 벤치마크 셋, 응답 모델 둘에 걸쳐 한 번에 하나의 결정만 바꾼다. 선택이 가장 큰 레버였고, 압축은 거의 공짜이며, 절약분은 재투자했을 때만 값을 한다. 그 과정에서 같은 예산에서 같은 공개 규칙을 돌리는 두 하네스 사이의 0.07~3.74점 격차를 보고한다 (source).
저자와 소속
검색된 자료에 공개되지 않았다. 스냅숏에 저자 목록도 소속도 없고 arxiv.org 는 이번 실행의
샌드박스에서 EGRESS_BLOCKED 를 반환한다. HuggingFace Daily Papers, 2026-09-08,
15 업보트; arXiv 발행일 2026-09-03
(source).
방법
논문이 내세우는 불만은, 공개된 선택기들이 프레임 스코어러와 프롬프트 경계와 해상도 정책과 응답 모델을 한꺼번에 바꾼다는 것이고, 그래서 비교가 해석 불가능해진다는 것이다. 대응은 각각을 고정하고 세 결정 중 정확히 하나만 바꾸는 것이다 (source):
- 선택 — 어느 프레임이 그 몫에서 살아남는가
- 공간 압축 — 살아남은 프레임 하나가 토큰을 얼마나 쓰는가
- 재투자 — 압축이 풀어 준 토큰으로 무엇을 하는가
그리드: 학습이 필요 없는 선택 규칙 여섯 × 장편 비디오 벤치마크 셋 × 응답 모델 둘.
결과
| 결정 | 발견 |
|---|---|
| 선택 | 단일 최대 레버 — LongVideoBench 의 한 시간 구간에서 질의로 고른 8프레임이 균등 간격 16프레임을 6.9점 앞선다 |
| 선택기의 강도 | 수정 없이 쓴 수십 년 된 희소 근사 알고리즘 Orthogonal Matching Pursuit 이, 비교한 모든 목적형 선택기와 대등하거나 1점 이내로 따라붙는다. 세 벤치마크 전부에서 |
| 압축 | 거의 공짜 — 타임스탬프를 고정한 채 프레임당 공간 예산을 절반으로 줄이면 최대 0.44점 손해 |
| 재투자 | 풀린 토큰을 두 배 많은 압축 프레임에 쓰면, 원래 8프레임보다 높지 않은 측정 비용으로 2~3점을 더 회수 |
| 하네스 분산 | 같은 예산에서 같은 공개 규칙을 돌리는 두 하네스 사이 0.07~3.74점 |
| 자기 베이스라인 | 저자들의 AKS 베이스라인에서 발견된 구현 버그 |
| 마지막 두 행에서 논문이 끌어내는 결론은, 이 비교가 **논문 사이가 아니라 하나의 통제된 하네스 | |
| 안에서** 이루어져야 한다는 것이다 | |
| (source). |
의의
0.07~3.74 구간은 이 위키가 보유한, 자기 하네스 테제에 대한 가장 직접적인 측정이다. Eval Harness Configuration 은 2026-07-31 이래 벤치마크 수치가 (모델, 하네스) 쌍에 관한 주장이라고 논해 왔고, 주로 원인을 추론해야 하는 큰 스프레드를 제시하는 방식이었다. 여기서는 원인이 구성으로 분리된다. 같은 규칙, 같은 예산, 두 하네스, 그리고 모델에도 방법에도 속하지 않는 최대 3.74점. 그 상한은 이 위키가 기록한 여러 비교의 승부가 갈린 마진을 넘는다.
자기 베이스라인의 버그를 보고했다는 점이 나머지를 믿을 만하게 만든다. 그리고 이 클러스터에서 명명할 만큼 드문 일이다. "논문 간 비교는 신뢰할 수 없다" 가 발견인 논문이 자기 구현이 틀렸다고 공개하는 것은, 자신이 주장하는 기준을 자신에게 적용하는 것이다.
OMP 가 모든 목적형 선택기와 대등하다는 것은 제안이 아니라 이 분야에 대한 부정적 결과다. arXiv:2609.03430 Random Attention 과 같은 형태다 — 2026-09-05 에 읽고 페이지 없이 기록한 논문으로, KV 캐시 축출에서 "선택 신호가 기여하는 바가 거의 없다" 며 균등 무작위 축출이 가장 강한 기존 스코어러와 대등하다는 것을 찾아냈다 (source). 두 모달리티, 두 메커니즘, 그리고 정교한 선택 신호가 제 몫을 하지 못하고 있었다는 같은 발견. 두 논문은 서로를 인용하지 않으며, 묶은 것은 이 위키다.
"재투자" 발견은 벤치마크 수치라기보다 설계 규칙이다. 압축은 거의 공짜지만 그 자체로는 아무것도 벌어 주지 않는다 — 풀린 예산을 더 많은 프레임에 써야 벌어 준다. 이는 고정된 컨텍스트 안에서 무엇을 남길지 고르는 어떤 시스템에도 그대로 옮겨 간다. Agents (LLM Agents) 가 컨텍스트 관리 시스템과 DeepMind 의 에이전틱 비디오 루프에 대해 기록하는 바로 그 결정이다.
열린 질문
- 어느 두 하네스인가? 0.07~3.74 수치는 이 논문에서 가장 파급이 큰 숫자인데, 검색된 자료는 하네스도, 규칙도, 3.74 를 낸 벤치마크도 지목하지 않는다
- 3.74 는 최대값인가 관측된 최대값인가? 하네스 둘은 표본 크기 2 이며, 그 이상에서의 분산을 한정한 자료가 없다
- 학습된 선택기에서도 성립하는가? 여섯 규칙 모두 설계상 학습이 필요 없는 것들이고, 그것이 이 연구를 통제 가능하게 만드는 동시에 도달 범위를 제한한다
- 질의 기반 선택의 오라클은 무엇인가? "질의로 고른 8프레임" 은 질문에 접근 가능한 스코어러를 전제한다. 스코어러가 약해질 때 6.9점 중 얼마가 남는지는 검색된 자료에서 다뤄지지 않는다
- 재투자는 계속 값을 하는가? 2배 압축 프레임에서 2~3점인데, 4배나 곡선이 꺾이는 지점을 보고한 자료가 없다
- 응답 모델 둘은 무엇인가? 검색된 자료에 어느 쪽도 이름이 없어, 결론이 모델 일반에 적용되는지 여기서는 검증할 수 없다
인용
Select, Compress, Reinvest: A Controlled Study of Visual-Token Allocation in Long-Video MLLMs. arXiv:2609.03820, 2026-09-03. HuggingFace Daily Papers, 2026-09-08, 15 업보트에서 기록 (source).