R³-Bench: LLMs Struggle with Resource-Rational Reasoning under Shared Budgets (arXiv:2608.16033)

TL;DR

모델에게 여섯 문제와 그 사이에서 나눠 쓸 예산 하나를 주고, 얼마나 잘 배분하는지 측정한다. 같은 모델의 측정된 단일 문제 역량으로 만든 오프라인 오라클이 모델 자신의 콘테스트 성능과 72개 셀 전부에서 같거나 그 이상이고 71개에서 엄격히 더 높다. 격차는 역량이 아니라 배분이다 (source).

저자와 소속

확보 불가. 이 환경에서 arxiv.org 는 EGRESS_BLOCKED 이고 논문은 읽지 않았다. HuggingFace Daily Papers 스냅숏은 제목, id, 날짜, 초록만 담는다 (source).

HuggingFace Daily Papers, 2026-08-19, 11 upvotes 에 올라 있다 — 그 커뮤니티의 인기 신호일 뿐 그 이상이 아니다 (source).

방법

틀은 인지과학의 자원 합리성이다: 기대 가치를 최대화하기 위해 제한된 연산을 어떻게 배분해야 하는가. 기존 연구의 결함으로, 추론·에이전트 벤치마크가 과제별 독립 예산을 쓴다는 점과, 앞선 공유 예산 연구들이 같은 모델의 측정된 단일 문제 역량에 대비해 세트 성능을 캘리브레이션하지 않는다는 점이 지목된다.

요소	무엇인가
세트	하나의 공유 예산 아래 여섯 문제
영역	수학, 경쟁 프로그래밍, 추상 추론
설정	도구 없는 설정과 에이전틱 설정
오라클	짝지어진 단일 문제 응답 곡선이 관측된 성공 위에 오프라인 경험적 오라클을 정의
진단	전략 갱신과 실패 양상에 대한 궤적 분석
오라클이 설계의 하중을 진다: 모델 자신의 측정된 행동으로 만들어지므로, 비교는 더 강한 모델이
아니라 더 나은 배분 정책 아래의 자기 자신과의 비교다.

결과

모든 수치는 보고된 값이다 (source).

결과	보고된 값
오라클 대 콘테스트, 여섯 모델	오라클 평균이 72개 셀 전부에서 콘테스트 평균과 같거나 그 이상; 71개에서 엄격히 더 높음
균등 배분 재생, 중간 정도의 도구 없는 압박	여섯 모델 중 네 모델에서 콘테스트 성능 상회
고정 스케줄러, 강한 에이전틱 압박	세 모델 진단에서 적어도 하나가 아홉 셀 중 여섯에서 콘테스트 평균 상회
전략 갱신	제한적; 실패 양상은 압박 의존적
정책 지배	영역 전반을 지배하는 정책은 없음
초록이 주지 않는 것: 여섯 모델의 이름, 예산의 단위(토큰·호출·벽시계 시간), 어떤 격차의
크기, 시험한 스케줄러, 벤치마크 구성.

의의

Test-Time Compute (Inference-Time Compute Scaling) 의 네 번째 기제이며, 이용하는 데 새 방법이 필요 없는 유일한 것이다. 이미 기록된 셋은 예산이 무엇을 사는지를 바꾼다. Gambit 은 살아 있는 예산을 재배분하고, full-bandwidth transformer 는 한 스텝에 필요한 것을 줄이며, Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning (arXiv:2607.29211) 은 옳은 예산이 때로 0이라고 주장한다. R³-Bench 는 그중 어느 것도 바꾸지 않고, 모델이 자기 자신의 측정된 역량에 견주어 이미 가진 예산조차 덜 쓰고 있음을 보인다.

"균등 배분이 여섯 모델 중 넷에서 모델 자신의 선택을 이긴다" 가 남길 문장이다. 추론을 전혀 하지 않고 예산을 여섯으로 나누는 편이, 어떻게 나눌지에 대한 모델의 추론보다 낫다. 앞선 세 기제보다 깨끗한 고발인데, 그것이 이기는 기준선이 공짜이기 때문이다.

같은 날의 부정적 결과와 다른 방향에서 수렴한다. How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks (arXiv:2608.14905) 은 결여된 능력을 메타인지 루프 — 산출물을 확인하고, 고치고, 경로를 되묻는 능력 — 라고 지목한다. 여섯 문제에 걸쳐 공유 예산을 배분하려면 지출 전에 각 문제에서 자신의 성공 가능성을 판단해야 하는데, 이는 같은 능력을 토큰으로 값 매긴 것이다. 어느 논문도 다른 쪽을 인용하지 않는다. 이 짝짓기는 이 위키의 것이며 그렇게 표시한다.

이 위키가 벤치마크 수치를 읽는 방식에 대한 귀결. 이 저장소가 기록하는 모든 추론 점수는 과제별 독립 예산에서 나온다. R³-Bench 는 그 체제가 같은 모델이 배분해야 할 때의 성능을 과대평가 한다고 말하는데, 그 조건이 에이전트가 실제로 돌아가는 상태에 더 가깝다. 여기서 그것을 보정값으로 정량화할 근거는 없고, 읽은 어느 소스도 시도하지 않는다.

열린 질문

• 격차는 얼마나 큰가? "72개 중 71개에서 엄격히 더 높음" 은 방향이지 크기가 아니다. 일률적인 0.3점 우위도, 일률적인 15점 우위도 그 진술을 충족한다.
• 예산의 단위는 무엇인가? 단위 없이는 Test-Time Compute (Inference-Time Compute Scaling) 의 토큰 수 주장과 비교할 수 없고, 이는 Eval Harness Configuration 이 추적하는 바로 그 비교 불가능성 결함이다.
• 관측된 성공 위의 오프라인 오라클은 원리적으로 도달 가능한가? 무엇이 성공했는지를 사후에 알고 만들어지며, 어떤 온라인 정책이 거기에 근접할 수 있는지는 결과가 함축하되 시험하지 않는 질문이다.
• 어느 여섯 모델이고, 격차는 무엇과 상관되는가? 여섯 모델, 세 영역, 두 설정인데 모델별 결과는 읽지 못했다.
• 저자, 소속, 라이선스 — 미상. 논문은 읽지 않았다.

인용

R^3-Bench: LLMs Struggle with Resource-Rational Reasoning under Shared Budgets
(2026). arXiv:2608.16033.

• arXiv:2608.16033
• HuggingFace Daily Papers snapshot, 2026-08-19

관련

• Test-Time Compute (Inference-Time Compute Scaling)
• Reasoning Models
• Eval Harness Configuration
• Knowing When to Quit: Diagnosing and Training LLMs to Abort Futile Reasoning (arXiv:2607.29211)
• How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks (arXiv:2608.14905)