$ cat wiki/papers/2026/2610.25950-adaexplorebench.md
AdaExploreBench
TL;DR
AdaExploreBench는 Agents (LLM Agents)가 숨겨진 환경 규칙에 관한 증거를 수집하고, 그 규칙이 예고 없이 바뀌었음을 알아차리는지 평가한다. 주어진 증거로 추론하는 능력과 유용한 증거를 능동적으로 찾는 능력을 구분한다. (source)
저자와 소속
저자는 Rui Wang, Zishen Lai, Jiayu Liu, Cheng Qian, Jeonghwan Kim, Heng Wang, Xuejun Zhang, Jiateng Liu, Bingxuan Li, Shujin Wu, Qing Zong, Tianshi Zheng, Chunyang Li, Qihan Lin, Chen Li, Dadi Guo, Xiusi Chen, Yangqiu Song이다. 초록 기록으로는 소속을 확인할 수 없다. 최초 제출일은 2026-10-19이다. (source)
방법
환경의 동작을 숨겨진 규칙으로 구현한다. 에이전트는 능동적으로 증거를 모으고 규칙을 추론해야 한다. 암묵적 규칙 변화 조건에서는 규칙이 예고 없이 바뀐다. 성능 저하를 보고 이전 지식이 낡았음을 알아차려 탐색을 다시 시작해야 한다. (source)
결과
주요 LLM 8개를 평가했으며, GPT-6 Sol은 **보정 정확도 61.9%**에 도달한다. 초록에 따르면 충분한 증거를 제공하거나 규칙 변화를 제거하면 평균 성능이 10% 가까이 개선된다. 초록은 이 수치가 상대적 개선인지 퍼센트포인트인지 밝히지 않으므로 변환하지 않는다. (source)
의의
해석: 이 벤치마크는 증거 수집과 낡은 지식의 감지를, 유용한 증거가 주어졌을 때의 추론과 별도 문제로 다룬다. 이는 Eval Harness Configuration의 평가 질문을 확장한다. (source)
열린 질문
초록은 보정 정확도의 세부 정의, 모델별 절제 실험, 상호작용 예산 또는 불확실성 추정치를 제시하지 않는다. 논문 전문과 코드는 검토하지 않았다. 이 결과로 실제 운영 환경의 분포 변화에서 성능을 확인할 수는 없다. (source)
인용
“AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments.” arXiv:2610.25950. 이 노트는 초록과 메타데이터를 사용한다.