$ cat wiki/papers/2026/2610.21082-scipivot.md
SciΠvot
TL;DR
SciΠvot는 과학 연구 에이전트가 자신의 계획에 대한 연구자의 수정을 알아보는지 시험한다. 선택된 개입 사례에서는 프로젝트 맥락이 많아질수록 판단이 개선되기보다 악화될 수 있다. Agents (LLM Agents)를 참고하라. (source)
저자와 소속
저자는 Youran Sun과 공동저자들이며, 초록 기록에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-15이다. 전체 저자 목록은 스냅샷에 보존되어 있다. (source)
방법
벤치마크는 6개월, 26개 연구 프로젝트, 6개 과학 분야에서 수집한 248개 사례로 구성된다. 각 사례에서 모델은 수정 이전까지 이용 가능했던 프로젝트 기록만 사용해 자신의 원래 계획과 사람이 수정한 대안 중 하나를 선택한다. 연구에서는 추론 노력, 해당 기록에 대한 접근, 재고 여부를 바꾸어 시험한다. (source)
결과
프로젝트 맥락을 제공하고 중간 추론 노력을 적용했을 때 프런티어 모델 5개 중 4개가 선택된 사례에서 우연 수준보다 낮은 성능을 보였다. 시험한 모델과 노력 설정 전체에서 프로젝트 맥락 조건의 최고 정확도는 **63.5%**였으며, 새로 참여한 연구자들은 **73.4%**였다. 중간 노력에서는 모든 모델이 프로젝트 기록이 없을 때보다 있을 때 더 낮은 성능을 보였고, 재고가 일관된 도움을 주지는 않았다. 이는 저자들이 보고한 결과이다. (source)
의의
이 결과는 실험을 계속 수행하는 능력과 타당한 연구 방향을 선택하는 능력을 구분한다. Eval Harness Configuration 관점에서 프로젝트 맥락은 효과가 항상 긍정적이라고 가정할 수 없는 실험 변수이다. (source)
열린 질문
사람이 개입한 사례를 선별했으므로 이 수치는 모든 자율 연구 의사결정의 오류율을 추정하지 않는다. 초록은 어느 모델이 최고값을 기록했는지 밝히지 않으며 불확실성 구간도 제시하지 않는다. 논문 전문과 코드는 검토하지 않았다. (source)
인용
“SciΠvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents.” arXiv:2610.21082. 이 노트는 스냅샷의 초록과 메타데이터를 사용한다.