테스트 타임 연산 (추론 시점 연산 스케일링)

정의

추론(inference) 시점에 compute 를 추가 할당하여 출력 품질을 향상시키는 모든 기법. 학습된 모델은 고정하되 답을 만드는 과정에서 더 많이 생각/탐색/검증 한다.

대표 형태:

• Chain-of-Thought (CoT) — 중간 단계 명시적 생성
• Self-consistency — 여러 답 샘플링 후 다수결
• Tree-of-Thoughts / search — 분기 탐색
• Verifier-guided search — 별도 verifier 가 후보 평가
• Reflection / critic — 자기 비판 후 재시도
• Tool augmentation — 외부 계산기/검색 호출

왜 중요한가

• 본인 관심사 매칭 (reasoning 1.3x)
• 2024-2026 가장 큰 패러다임 전환 중 하나 — "더 큰 모델" 외 "더 오래 생각하는 모델"
• 학습 비용 한계 도달 가정 시 inference 비용 trade-off 핵심
• Reasoning Models 의 운영 메커니즘

현재 수준 (2026-07)

• OpenAI o-시리즈 후속 (GPT-Rosalind 등) — domain-specialized reasoning
• Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling — "simple and unified scaling" 만으로 gold-medal olympiad reasoning 달성 주장 — test-time compute 의 한계가 어디까지인지 데이터포인트
• Claude Opus 4.7 "multi-step tasks, thoroughness, consistency" — 암묵적 테스트 타임 연산 스케일링

두 달이 지난 지금 흥미로운 질문은 추론 연산이 얼마나 도움이 되느냐가 아니라 어디에 쓰이느냐, 그리고 그것이 정말 당신이 생각한 그 연산이냐다:

• 파라미터가 아니라 호라이즌 — Agents-A1(2026-06)은 활성 35B 로 에이전트 벤치마크에서 1조 파라미터 모델과 맞선다. 모델 크기가 아니라 에이전트 호라이즌(궤적 길이와 능력 폭)을 키운 결과다. 더 긴 궤적에 쓴 테스트 타임 연산이 30배의 파라미터가 사던 것을 샀다
• 그 연산이 훈련한 정책에 닿지 않을 수 있다 — MIPI 논문(2026-06)은 RL 이 훈련 프록시를 최적화하는 동안 다른 엔진이 추론을 서빙한다고 지적한다. 추론에 들인 노력이 훈련이 겨냥한 적 없는 정책에 적용되는 셈이다
• 가격 등급이 됐다 — Gemini 3.5 Pro는 "Deep Think" 를 월 $250 Ultra 등급 뒤에 둔다. 연구용 손잡이였던 테스트 타임 연산이 이제 비용 항목이며, 그것 자체가 "어디까지 효율적인가"에 대한 답이기도 하다
• 실패도 함께 커진다 — Ring-Zero는 약 100B 위에서만 나타나는 행동들을 기록했고, 그중에는 모호한 맥락에서 멈칫하는 것도 있다. 추론 연산을 늘린다고 신뢰성이 단조롭게 좋아지지는 않는다 → Reasoning Models

2026-08-21 — 다섯 번째 기제, 그리고 그 컴퓨트를 순전파 안에 쓴다

위의 모든 기제는 추론 컴퓨트를 토큰 에 쓴다 — 더 긴 사슬, 탐색, 검증자, 그리고 full-bandwidth transformer 의 경우 디코딩 단계 사이를 넓힌 채널. Looped Language Models Improve Compositional Tool Calling (arXiv:2608.18171) 은 그것을 순환 깊이 에 쓴다: looped 모델은 같은 파라미터를 여러 패스에 재사용하므로 파라미터를 늘리지 않고 추론 시점에 깊이가 달라지며, 논문은 이를 추론 벤치마크가 아니라 에이전트의 툴 사용 워크플로 한복판에서 시험한다.

긋는 경계가 유용한 부분이다. 순환 계산은 조합적·의존성 인지 툴 사용 — 여러 API 호출의 조율, 중간 상태 유지, 의존성 보존 — 을 돕는 반면, 단발 API 호출 에서의 이득은 "더 작고 모델 의존적" 이다. 단일 호출은 조회에 가깝고, 호출을 조합하려면 단계 간에 상태를 들고 가야 하며, 추가 깊이로 무언가를 사는 쪽은 후자뿐이다. API-Bank, BFCL, NESTful 에서 평가했고, looped 모델과 비-looped 모델을 동일한 SFT 레시피 로 학습시켰다.

그리고 배분 논변이 이달 세 번째로 서로 다른 기제에서 도착한다. 정확도는 대체로 순환 깊이에 따라 오르지만, 적응적 추론이 더 나은 컴퓨트–성능 균형 을 얻는다 — 필요할 때만 쓰기 때문이다. Thought-Level Beam Search for Reasoning (arXiv:2608.08020) 가 테스트 시점 컴퓨트를 예산이 아니라 배분으로 재정의한 것, 그리고 Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning (arXiv:2607.29211) 이 옳은 예산이 때로 0 이라고 한 것과 같은 결론이다. 서로 무관한 세 기제, 하나의 결론: 얼마나 쓰느냐보다 어디에 쓰느냐.

한계는 심각하고 그대로 적어 둔다: 초록에 수치가 하나도 없다. "대체로 이득" 과 "더 작고 모델 의존적" 은 크기가 아니라 방향이므로, looping 이 같은 FLOPs 를 더 큰 모델에 쓰는 것 — 같은 컴퓨트의 명백한 대안이고 논문이 보고하지 않는 비교 — 을 이기는지는 여기서 말할 수 없다.

2026-08-19 — 네 번째 기제, 그리고 새 방법이 전혀 필요 없다

아래 세 기제는 예산이 무엇을 사는지 를 바꾼다. R³-Bench: LLMs Struggle with Resource-Rational Reasoning under Shared Budgets (arXiv:2608.16033) 는 아무것도 바꾸지 않고, 모델이 이미 가진 예산조차 덜 쓰고 있음을 보인다 (source).

설계가 힘을 준다. 수학, 경쟁 프로그래밍, 추상 추론에 걸쳐 여섯 문제가 하나의 예산을 공유하며, 도구 없는 설정과 에이전틱 설정 모두에서 수행된다. 비교 대상은 더 강한 모델이 아니라 같은 모델의 측정된 단일 문제 응답 곡선으로 만든 오프라인 오라클 이다. 즉 더 나은 배분 정책 아래 자기 자신과 비교되는 것이다.

결과	보고된 값
오라클 대 콘테스트, 여섯 모델	오라클 평균이 72개 셀 전부에서 콘테스트 평균과 같거나 그 이상; 71개에서 엄격히 더 높음
균등 배분 재생, 중간 정도의 도구 없는 압박	여섯 모델 중 네 모델에서 콘테스트 성능을 상회
고정 스케줄러, 강한 에이전틱 압박	세 모델 진단에서 적어도 하나가 아홉 셀 중 여섯에서 콘테스트 평균 상회
전략 갱신	제한적; 실패 양상은 압박 의존적이고, 영역 전반을 지배하는 정책은 없음
남길 문장은 두 번째 행이다. 여섯 모델 중 넷에서, 추론을 전혀 하지 않고 예산을 여섯으로
나누는 편이 어떻게 나눌지 모델이 추론한 결과보다 낫다. 다른 세 기제는 모두 장치를 제안하지만
이 기준선은 공짜다.

같은 날 Eval Harness Configuration 의 부정적 결과와 다른 방향에서 수렴한다. How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks (arXiv:2608.14905) 은 시험한 8개 하네스-모델 조합 전부에서 결여된 능력을 메타인지 루프 — 산출물을 근거와 대조하고, 고치고, 택한 경로를 되묻는 능력 — 라고 지목한다. 공유 예산을 배분하려면 지출 전에 각 문제에서 자신의 성공 가능성을 판단해야 하는데, 이는 그 능력을 토큰으로 값 매긴 것이다. 어느 논문도 다른 쪽을 인용하지 않는다. 이 짝짓기는 이 위키의 것이며 그렇게 표시한다. 또한 Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning (arXiv:2607.29211) 의 체계적 캘리브레이션 오류 를 거부가 아니라 배분의 측면에서 다시 말한 것이기도 하다.

이 위키가 추론 점수를 읽는 방식에 대한 귀결. 여기 있는 모든 그런 수치는 과제별 독립 예산에서 나온다. R³-Bench 는 그 체제가 같은 모델이 배분해야 할 때의 성능을 과대평가 한다고 말하는데, 배분해야 하는 상황이야말로 에이전트가 실제로 돌아가는 조건이다. 읽은 자료 어디에도 그 편차를 정량화한 것이 없고 어떤 소스도 시도하지 않으므로 어떤 모델 페이지의 수치도 조정하지 않았다. 적용할 보정이 아니라 측정에 알려진 편향으로 기록한다.

미해결이면서 중요한 점: 초록은 방향만 주고 크기는 결코 주지 않으며("72개 중 71개에서 엄격히 더 높음" 은 일률적인 0.3점으로도, 15점으로도 충족된다), 예산의 단위가 명시되지 않는다 — 그래서 아래 기제들의 토큰 수 주장과 비교할 수 없고, 이는 Eval Harness Configuration 이 추적하는 바로 그 결함이다.

2026-08-18 — 세 번째 기제, 그리고 옳은 예산이 0일 때가 있다는 주장

어제의 두 기제는 모두 모델이 결국 답한다고 전제한다. Thought-Level Beam Search for Reasoning (arXiv:2608.08020) 는 살아 있는 궤적 사이로 연산을 옮기고, Full-bandwidth transformer (arXiv:2608.08888) 는 한 스텝이 필요로 하는 양을 줄인다. Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning (arXiv:2607.29211) 은 범주가 다르다 — 추론 지출의 상당 부분이 아무리 추론해도 답이 나오지 않는 질문 위에 쓰이고 있으며 모델이 그것을 모른다고 말한다 (source).

수치 없이 진술된 진단은 이렇다. 보편적인 역량 초과 시도, 역량과 행동 사이의 체계적인 캘리브레이션 실패, 그리고 지배적 실패 양상으로서의 그럴듯한 추론 — 겉보기에 타당하고 미묘한 오류를 품은 출력 — 이 난도가 올라갈수록 심해진다는 것. 해법인 CaRL 은 헛된 추론보다 거절에 보상을 주도록 설계하고 과거의 실패를 거절 감독 신호로 바꾼다.

기제	무엇을 바꾸는가	답이 나오는가?
Thought-Level Beam Search for Reasoning (arXiv:2608.08020)	살아 있는 궤적 사이의 배분	예
Full-bandwidth transformer (arXiv:2608.08888)	한 디코딩 스텝이 필요로 하는 것	예
Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning (arXiv:2607.29211)	아예 시작할지 여부	아니오 — 거절이 출력이다
SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning (arXiv:2608.14277)	학생이 언제 멈출지를 어디서 배우는가	예
네 번째 행이 이 날의 조용한 발견이다. SimpleOPD 는 종료 토큰 — </think>, `<	im_end	>` — 의
advantage 를 마스킹하는데, 짧은 문맥의 학생이 장문맥 교사로부터 멈추는 행동을 물려받아 자기
응답 길이를 폭발시키기 때문이다. 멈추기는 학습된 행동이고 잘 옮겨 가지 않는다. CaRL 이
캘리브레이션 실패로 다루는 것과 같은 현상을, 추론 시점이 아니라 증류 파이프라인 안에서 관찰한
것이다 (source).

상한은 덧셈이 아니다. 낭비 토큰을 없앤다고 주장하는 네 기제는 각자 없애는 토큰이 서로 겹치지 않을 때에만 합쳐지는데, 읽은 자료 어디에도 어느 둘이 그러하다는 근거가 없다. 넷 중 어느 것도 다른 것을 인용하지 않는다.

이 페이지가 특히 CaRL 에 대해 남기는 경고: 모델에게 거절의 대가를 지불하는 목표에는 자명한 퇴화 해가 있고, 초록이 내놓은 방어는 수치 없는 "효용을 희생하지 않고"뿐이다. 거절 비율이 이 결과를 읽는 데 필요한 단 하나의 숫자이고, 그것이 공표되지 않았다.

2026-08-17 — 낭비가, 같은 날 양쪽 끝에서 측정됐다

이 페이지의 열린 문제는 "사용자와 제품이 추론 비용을 얼마나 흡수할 수 있는가" 였다. 함께 도착한 두 가지가 그 질문의 틀을 바꾼다: 그 비용의 상당 부분이 이미 진 궤적에 쓰이고 있을 수 있고, 그렇다면 물어야 할 것은 흡수가 아니라 낭비다.

비용, 실무자가 측정한 것. Qwen 3.8 27B 를 M5 Max MacBook Pro 에서 17GB GGUF 로 돌려, Simon Willison 은 "SVG 를 그려라" 프롬프트 하나가 추론 토큰 22,276개에 출력 토큰 3,223개 — 출력 토큰당 추론 토큰 6.9개 — 를 21분 동안 쓰는 것을 기록했다. 이는 모델의 출고 기본값의 동작이다: Qwen3.8 은 reasoning_effort 를 xhigh 로 출고하고, medium 과 low 는 있지만 사용자를 위해 선택되지 않는다. 그의 요약은 모델이 "두 문장짜리 답에 추론 토큰 2만 개를 기꺼이 태운다"는 것이다 (source).

회수, 알고리즘이 주장한 것. Thought-Level Beam Search for Reasoning (arXiv:2608.08020) 는 결정적 질문이 "얼마나 많은 compute 를 쓸 것인가에서 어디에 배분할 것인가로" 옮겨갔다고 주장하며, 표준 병렬 샘플링 대비 전체 토큰 최대 68.5% 감소를 정확도 상승과 함께 — HMMT-24 절대 +6.7, AIME-25 +3.3 — 그리고 2배 이상의 처리량을 동일 하드웨어에서 보고한다 (source).

둘은 같은 모델에 관한 것이 아니고 서로를 인용하지도 않는다. 이 짝지음은 이 위키의 것이다. 다만 측정된 비용과 주장된 회수율이 이 페이지에 함께 놓인 적은 없었고, 둘은 같은 방향을 가리킨다: 한계 추론 토큰은 값이 매겨지고 있는 그 토큰이 아니다.

같은 배치의 세 번째 결과는 같은 낭비를 추론 이전에 공격한다. Full-bandwidth transformer (arXiv:2608.08888) 는 직전 최상층 은닉 상태를 다음 디코딩 단계로 되먹이고 같거나 더 나은 정확도에서 더 짧은 추론 궤적을 보고한다 — 사고 사슬의 일부가 계산을 수행하는 것이 아니라 단계 사이로 운반하기 위해 존재하며, 수직 통로를 넓히면 그 토큰들이 불필요해진다는 함의다 (source).

Pricing 셀을 읽는 데 미치는 귀결. 세 가지 기구 — 궤적 사이의 재배분, 넓어진 잠재 통로, 그리고 기본 effort 수준 — 는 각각 토큰당 가격을 바꾸지 않은 채 같은 답변의 토큰 수를 바꾼다. 모델 페이지의 Pricing 행은 단가이므로 그중 무엇도 거기 보이지 않는다. 이는 Eval Harness Configuration 이 벤치마크 점수에 대해 펴는 것과 같은 관찰이, 리더보드가 아니라 청구서에 도착한 것이다.

스케일링 법칙 (열린 문제)

• Test-time compute 도 학습 compute 처럼 power-law 스케일링?
• 한계점 (saturation) 어디?
• 도메인별 (math vs coding vs science vs real-world) 다른 스케일링?

→ Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling 가 이 영역에 가장 최신 데이터 제공

열린 문제

• Cost-quality trade-off — 사용자/제품 입장에서 얼마까지 inference 비용 감당?
• Latency — 추론 시 더 생각하는 모델은 응답 느림. 어떤 use case 가 감당?
• Verifier 정확도 — verifier 자체의 한계는 새 ceiling
• Compute allocation 최적화 — 같은 budget 을 어떻게 step / sample / search 에 배분?

주요 논문

• Looped Language Models Improve Compositional Tool Calling (arXiv:2608.18171) — 조합적 툴 호출을 위한 순환 깊이; 적응적 추론이 고정 깊이를 앞선다

• Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling — 2026-05

• BDH-CQ: In-Context Learning with Recurrent Latent Reasoning (arXiv:2608.09888) — 2026-08, 테스트타임 연산을 디코딩된 토큰이 아니라 순환 잠재 상태에서 소비한다. 150M 모델이 ARC-AGI-1 pass@2 29.5% 를 과제당 계산 비용 $0.0007 에 보고하며, 벤치마크의 정확도 순위표가 아니라 비용-정확도 프런티어의 새 지점이라고 주장한다 (source)

• Thought-Level Beam Search for Reasoning (arXiv:2608.08020) — 2026-08, 예산이 아니라 배분: 실행 도중 가지를 쳐내고 다시 뻗는 thought 단위 빔 서치로, 가지치기 기준선 대비 HMMT-24 절대 +6.7 / AIME-25 +3.3, 2배 이상의 처리량, 최대 68.5% 적은 토큰 (source)

• Full-bandwidth transformer (arXiv:2608.08888) — 2026-08, 디코딩 단계 사이의 수직 통로를 넓힌다. 같거나 더 나은 정확도에서 더 짧은 추론 궤적, 그리고 1B 모델이 약 1.5배 더 많은 토큰으로 학습한 모델에 필적 (source)

• Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning (arXiv:2607.29211) — 2026-07, 헛된 추론: 보편적인 역량 초과 시도와 체계적인 캘리브레이션 실패, 지배적 실패 양상으로서의 그럴듯한 추론. CaRL 이 보상을 거절 쪽으로 설계하고 실패를 거절 감독으로 바꾼다. 수치는 공표되지 않았다 (source)

• R³-Bench: LLMs Struggle with Resource-Rational Reasoning under Shared Budgets (arXiv:2608.16033) — 2026-08, 공유 예산 아래의 배분. 같은 모델의 단일 문제 곡선으로 만든 오프라인 오라클이 72개 셀 전부에서 콘테스트 성능과 같거나 그 이상이고 71개에서 엄격히 더 높다. 균등 배분 재생이 여섯 모델 중 네 모델에서 모델 자신의 선택을 이긴다 (source)

• SimpleOPD: Simple Tokenizer-Agnostic On-Policy Distillation for Long-Context Reasoning (arXiv:2608.14277) — 2026-08, 토크나이저에 구애받지 않는 on-policy distillation. 짧은 문맥의 학생이 장문맥 교사의 멈추는 행동을 물려받기 때문에 종료 토큰의 advantage 를 마스킹한다. Intern-S2-Preview 가 ProofBench 에서 +21.2, 55.2 도달 (source)

관련 개념

• Reasoning Models — 이 메커니즘 사용하는 모델 클래스
• scaling-laws — 별도 페이지 작성 예정
• Agents (LLM Agents) — multi-step agent 도 test-time compute 의 한 형태

열린 논쟁

• "Simple scaling" 진영 (Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling 시사) vs "specialized methods" 진영 — 어느 쪽이 reasoning 발전 동력?
• Test-time vs train-time compute 분배 — pre-training scaling 이 saturate 한다면 어디로?

주목할 발언

• (Sam Altman): "automated AI research intern by 2026-09" 목표는 강한 test-time compute + agentic loop 전제