$ cat wiki/papers/2026/2610.30181-opends-world.md
OpenDS-World
TL;DR
OpenDS-World는 여러 근거를 연결해 하나의 사실적 정답을 도출해야 하는 실시간 웹 연구를 평가한다. 시험한 모델 중 가장 강력한 모델은 200개 과제에서 39.0% 정확도에 도달했다. (source)
저자와 소속
Xiaomin Yu, Hongliang Chen, Zhe Huang, Shilin Yan, Shao-Rong Su, Xuqiao Ma, Feiyang Wang, Jiayu Chen, Jiwei Fang, Yu Yan, Yini Huang, Chen Chen, Ruoxi Cheng, Yuzhi He, Yuhui Zhang, Xiaoxing Hu, Chen Liu, Jianbo Lin, Yijiang Li, Xiaobin Hu, Menglong Li, Zhuoran Lu, Weishi Wang, Zhongqi Yue, Chengwei Qin. 초록 페이지에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-19이다. (source)
방법
OpenDS는 여러 모달리티, 파일 형식, 접근 방식에 걸쳐 웹 검색, 브라우저 상호작용, 근거 처리를 결합한다. 독립적인 사람 검토로 근거의 유효성과 정답의 유일성을 확인했다. 저자들은 통일된 도구 환경과 실행 프로토콜에서 12개 프런티어 모델을 평가한다. (source)
결과
최고 모델의 정확도는 **39.0%**이고, 1,000회의 독립적 시도로 구성된 사람 평가의 정확도는 **21.1%**이다. 초록은 시간 예산의 일치 여부나 참여자의 전문성을 명시하지 않으므로, 이를 인간 연구자에 대한 일반적 우위의 근거로 볼 수 없다. 분석에서는 도구 조율, 종료 판단, 실패 복구의 차이를 확인한다. (source)
의의
Agents (LLM Agents)에서 문서 검색은 연구의 일부일 뿐이다. 이 평가는 접근, 근거 통합, 중단 시점 판단을 함께 시험한다. Eval Harness Configuration의 결과를 비교할 때는 실행 프로토콜을 보존해야 한다. (source)
열린 질문
초록은 최고 설정의 이름을 밝히지 않으며, 비용, 사람의 시간 제한, 웹 콘텐츠가 변할 때의 재현성을 명시하지 않는다. 여기서는 논문 전문과 코드를 검토하지 않았다. (source)
인용
arXiv:2610.30181 · 변경 불가능한 초록 캡처. (source)