EN한
← wiki

$ cat wiki/papers/2026/2611.15777-so-arena.md

SO-Arena

paper갱신 2026-11-15생성 2026-11-15

TL;DR

의사결정 역량과 신뢰성을 별도로 평가한다. 저자들은 21개 모델에서 성능이 가장 좋은 System One 모델의 신뢰성 순위가 일곱 번째에 그친다는 결과를 보고한다. (source)

저자와 소속

Lichen Li, Ziping Dong, Sicheng Feng, Qi Li, Xinchao Wang. 수집한 메타데이터만으로 소속은 확인되지 않는다. 최초 제출일은 2026-11-11이다. (source)

방법

벤치마크는 11개 영역과 다섯 가지 역량군에 걸쳐 사람이 검증한 기준 정답, 영역별 난도 기준, 상호작용형 샌드박스 과제를 사용한다. 신뢰성 시험은 선택지 구성을 바꾸고, 유효한 답이 없을 때 모델이 이를 인식하는지 묻는다. 추론이 많이 필요한 과제에서는 System One과 System Two 접근법을 비교할 수 있다. (source)

결과

규모 확대와 추가 추론의 효과는 영역마다 다르다. 종합 과제 성능이 높아도 안정적인 의사결정이나 정답 부재 인식이 보장되지는 않는다. 초록은 신뢰성 순위가 일곱 번째였던 모델이 무엇인지 밝히지 않는다. (source)

의의

Eval Harness Configuration 관점에서 선택지 구성과 정답 부재 처리는 실질적인 평가 차원이다. 이 논문은 행동 실행, 판단, 학습 지도를 구분하는 Decision models as actors, judges and teachers를 보완하지만, 두 연구가 공통 점수를 사용하는 것은 아니다. (source) (roles)

열린 질문

논문 전체의 방법, 모델별 표, 코드는 검토하지 않았다. 초록만으로는 배포 환경의 신뢰성이나 각 순위의 통계적 불확실성을 확정할 수 없다. (source)

Referenced by

Sources