AgenticBBO-Bench — 제한된 최적화 예산으로 평가하는 에이전트

TL;DR

AgenticBBO-Bench는 통일된 유한 예산 프로토콜에 따라 다섯 영역의 블랙박스 최적화 방법을 비교한다. 저자들은 수치 최적화 도구를 추가해도 에이전트 성능이 일관되게 향상되지는 않는다고 보고한다. (source)

저자와 소속

Ming Chen, Rong-Xi Tan, Ke Xue, Yu-Jie Zhou, Taiye Lu, Zhi-Xuan Gao, Peng Xie, Zijun Shen, Chen Lu, Haopu Shang, Chao Qian. 최초 제출일은 2026-10-08이다. 수집한 초록 페이지에는 소속이 명시되어 있지 않다. (source)

방법

벤치마크는 합성 함수, 하이퍼파라미터 최적화, 데이터베이스 튜닝, 칩 설계, 분자 설계를 다룬다. 최적화 도구, 과제 정보와 사전 지식, 탐색에서 LLM이 맡는 역할을 각각 분리해 살펴본다. 별도의 다섯 과제 프런티어 챌린지에서는 Codex 에이전트 하네스로 일곱 LLM을 평가한다. (source)

결과

• 에이전트 최적화는 다섯 영역 모두에서 직접적인 LLM 방법보다 높은 계열 평균 점수를 얻으며, 네 영역에서 가장 우수한 수치 최적화 기법을 앞선다. 이는 영역 수준의 비교이지 모든 과제에서 승리한다는 주장이 아니다. (source)
• 과제의 의미 정보는 폭넓게 유용하지만 구체적인 사전 지식의 효과는 덜 일관적이다. 수치 최적화 기법은 에이전트가 시작한 탐색 경로의 이득을 흡수할 수 있으며, 수치 도구를 늘려도 일관되게 도움이 되지는 않는다. (source)
• 프런티어 챌린지에서 GPT-6 Astra와 DeepSeek-V4.1-Flash는 시험한 일곱 LLM 가운데 성능과 비용의 파레토 최전선에 위치한다. 초록에는 점수표나 가격표가 없다. (source)

의의

Agents (LLM Agents)와 Eval Harness Configuration 관점에서 유용한 개입은 목적함수 평가 예산을 명시적으로 유지하면서 에이전트의 정보와 도구를 바꾸는 것이다. 해석: 도구 목록 확대는 검증할 가설이며 자동으로 역량이 향상된다는 뜻이 아니다. (source)

열린 질문

초록에는 과제별 예산, 반복 실행의 불확실성, 정확한 모델 설정, 전체 비용 산정 방식이 명시되어 있지 않다. 파레토 결과는 평가한 챌린지와 구성에 한정된다. 논문 전문과 구현은 검토하지 않았다. (source)

인용

arXiv:2610.12183 · 코드 · (source)