Test-Time Compute (Inference-Time Compute Scaling)

Definition

추론(inference) 시점에 compute 를 추가 할당하여 출력 품질을 향상시키는 모든 기법. 학습된 모델은 고정하되 답을 만드는 과정에서 더 많이 생각/탐색/검증 한다.

대표 형태:

• Chain-of-Thought (CoT) — 중간 단계 명시적 생성
• Self-consistency — 여러 답 샘플링 후 다수결
• Tree-of-Thoughts / search — 분기 탐색
• Verifier-guided search — 별도 verifier 가 후보 평가
• Reflection / critic — 자기 비판 후 재시도
• Tool augmentation — 외부 계산기/검색 호출

Why It Matters

• 본인 관심사 매칭 (reasoning 1.3x)
• 2024-2026 가장 큰 패러다임 전환 중 하나 — "더 큰 모델" 외 "더 오래 생각하는 모델"
• 학습 비용 한계 도달 가정 시 inference 비용 trade-off 핵심
• Reasoning Models 의 운영 메커니즘

State of the Art (2026-05)

• OpenAI o-시리즈 후속 (GPT-Rosalind 등) — domain-specialized reasoning
• Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling — "simple and unified scaling" 만으로 gold-medal olympiad reasoning 달성 주장 — test-time compute 의 한계가 어디까지인지 데이터포인트
• Claude Opus 4.7 "multi-step tasks, thoroughness, consistency" — implicit test-time compute scaling

Scaling Laws (open question)

• Test-time compute 도 학습 compute 처럼 power-law 스케일링?
• 한계점 (saturation) 어디?
• 도메인별 (math vs coding vs science vs real-world) 다른 스케일링?

→ Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling 가 이 영역에 가장 최신 데이터 제공

Open Problems

• Cost-quality trade-off — 사용자/제품 입장에서 얼마까지 inference 비용 감당?
• Latency — 추론 시 더 생각하는 모델은 응답 느림. 어떤 use case 가 감당?
• Verifier 정확도 — verifier 자체의 한계는 새 ceiling
• Compute allocation 최적화 — 같은 budget 을 어떻게 step / sample / search 에 배분?

Key Papers

• Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling — 2026-05

Related Concepts

• Reasoning Models — 이 메커니즘 사용하는 모델 클래스
• scaling-laws — 별도 페이지 TBD
• Agents (LLM Agents) — multi-step agent 도 test-time compute 의 한 형태

Open Debates

• "Simple scaling" 진영 (Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling 시사) vs "specialized methods" 진영 — 어느 쪽이 reasoning 발전 동력?
• Test-time vs train-time compute 분배 — pre-training scaling 이 saturate 한다면 어디로?

Notable Statements

• (sam-altman TBD): "automated AI research intern by 2026-09" 목표는 강한 test-time compute + agentic loop 전제