FrontierPhysics — 전체 물리학 연구 평가

TL;DR

FrontierPhysics는 개별 물리학 답변 대신 연구 계획, 수행, 원고를 평가한다. 보고된 구성 중 168회 실행에서 46회를 초과해 통과한 구성은 없다. 이는 저자들이 보고한 프리프린트 결과다. (source)

저자와 소속

Bingran You와 공동 저자 71명이며, 전체 저자 목록은 보관한 arXiv 기록에 있다. 검토한 초록 페이지에서는 소속을 확인하지 못했다. 최초 제출일은 2026-11-04이다. (source)

방법

• 물리학자 42명이 이론, 계산, 실험의 아홉 영역에 걸쳐 자신의 연구에서 56개 작업을 구성한다. 에이전트는 문헌을 검토하고 연구 및 실험을 계획하고 수행한 뒤, 구조화된 결과물과 원고를 작성해야 한다. (source)
• 결정론적 검증기와 전문가가 작성한 루브릭으로 정확성과 출판 가능성을 평가한다. 평가는 22개 모델의 26개 구성을 다룬다. (source)

결과

어떤 구성도 자체 168회 실행 중 46회를 초과해 통과하지 못한다. 실행 경로를 수동 검토한 결과, 주된 약점은 지식 부족이나 실행 오류보다 엄밀하지 못한 추론과 제한된 전문가 직관에 있다고 분석한다. 분모는 서로 다른 작업 수나 학술지 게재 논문 수가 아니라 실행 횟수다. (source)

의의

Agents (LLM Agents)와 Eval Harness Configuration 관점에서 유용한 구분은 연구 워크플로의 완료와 과학적 품질 기준 충족의 차이다. 해석: 도구 실행이 성공했다는 사실만으로 연구 성공을 입증할 수 없다. (source)

열린 질문

초록은 가장 좋은 구성을 특정하거나 동일한 계산 예산을 확인하지 않으며, 루브릭에 기반한 출판 가능성을 독립적으로 검증한 결과도 제시하지 않는다. 본문 세부 내용, 코드, 재현은 여기서 검토하지 않았다. (source)

인용

FrontierPhysics: Evaluating Agents for End-to-End Physics Research

arXiv:2611.06910, 최초 제출일 2026-11-04. (source)