$ cat wiki/papers/2026/2610.34491-reasoning-effort.md
추론 강도: 비용과 과제 수준의 신뢰성
TL;DR
추론 강도를 높이면 전체 정확도가 향상될 수 있지만, 낮은 강도에서 풀었던 과제를 실패할 수도 있다. 저자들은 시험한 조건에서 낮은 강도로 시작해 확인된 실패 이후 강도를 높이는 방식이 최고 강도로 고정하는 방식과 같거나 더 좋은 성능을 보였다고 보고한다. (source)
저자와 소속
저자는 Kaiser Sun, Yongchan Kwon, Zain Hasan, Shang Zhu, Kaitlyn Zhou 및 Federico Bianchi다. 초록 페이지에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-25다. (source)
방법
이 연구는 단일 호출 추론과 장기 에이전트 과제를 다루는 네 벤치마크에서 독점 모델과 공개 가중치 모델의 반사실적 추론 강도 설정을 비교한다. 정확도, 지출 및 실행 궤적의 행동을 조사하며, 추론 강도를 성공한 결과만으로는 한계 편익을 알 수 없는 구매 대상으로 다룬다. (source)
결과
모든 추론 강도에서 해결되는 쉬운 과제에서는 최고 설정의 비용이 최저 설정의 최대 42x에 달한다. 높은 강도는 더 많은 검증과 해법 검색을 유발하지만 결과를 반드시 바꾸지는 않는다. 확인된 실패 이후 강도를 높이는 방식은 평가한 모델과 벤치마크 전반에서 성능을 유지하거나 개선하며, 대부분의 독점 모델에서는 비용도 낮다. 이는 저자 보고 결과이며 보편적인 비용 절감을 뜻하지 않는다. (source)
의의
Test-Time Compute (Inference-Time Compute Scaling)와 Agents (LLM Agents) 관점에서 더 많은 inference가 개별 사례의 신뢰성을 보장하지는 않는다. Eval Harness Configuration에서는 모델 및 과제와 함께 추론 강도 정책도 보존해야 한다. (source)
열린 질문
초록은 전체 모델·벤치마크 목록이나 모든 조건에서 실패를 어떻게 확인하는지 명시하지 않는다. 신뢰할 만한 결과 확인 수단이 없는 과제에도 강도 상승 정책을 적용할 수 있는지는 열린 문제다. 논문 전문과 코드는 검토하지 않았다. (source)
인용
What Effort Level Should I Choose? On the Economics of Reasoning Effort in LLM Agents, arXiv:2610.34491, 2026. (source)