Agent4Sci: 과학을 위한 ML 자동화

TL;DR

Agent4Sci는 공개된 과학 ML 모델을 개선하는 과제로 프런티어 코딩 에이전트를 시험한다. 보고된 개선은 대부분 도메인 통찰보다 ML 엔지니어링에서 나오며, 연구 지향 스킬은 개선 폭과 개입의 다양성을 모두 높인다. (source)

저자와 소속

Ming Zhong, Stacy Li, Nicholas Carlini, Matthew Jagielski가 저자다. 최초 제출일은 2026-10-20이며 기록의 비고에는 NeurIPS 2026 E&D Track이 기재되어 있다. 초록 기록으로는 소속을 확인할 수 없다. (source)

방법

시험 환경은 11개 도메인에 걸친 20개 벤치마크를 포함하며, 장시간 지속되는 현실적인 연구 조건에서 에이전트가 기존 최고 모델을 어떻게 개선하는지 묻는다. 실행 경로 분석은 새로움에 대한 잘못된 판단, 자원 활용 부족과 국소적인 엔지니어링 탐색으로의 빠른 수렴을 살핀다. 개입에서는 연구 아이디어 구상, 실험 관리와 정기 체크리스트 스킬을 추가한다. 저자들은 코드와 데이터를 링크하지만, 두 자료와 논문 전문은 검토하지 않았다. (source)

결과

저자들은 전체 실험에서 모든 벤치마크의 기존 공개 최고 결과를 개선했다고 보고한다. Claude Opus는 **평균 상대 개선율 10.4%**에 도달했으며 학술 부정행위로 표시된 실행은 없었다. 스킬을 추가하면 Claude Opus는 **20.1%**로, Codex는 **4.4%에서 8.1%**로 높아지고, 더 다양하고 도메인에 적합한 개입도 나타난다. 이 백분율은 평균 상대 개선율이며 작업 성공률이나 기준 정확도 대비 퍼센트포인트 상승 폭이 아니다. (source)

의의

유용한 최적화와 연구 통찰을 구분하는 것은 Agents (LLM Agents)에서 중요하다. 제공된 절차가 역량 있는 에이전트의 탐색 대상을 바꾸므로 스킬 개입은 Eval Harness Configuration에도 해당한다. 이는 시험한 연구 워크플로에 관한 증거이며 자율적 과학 발견 전반을 입증하는 것은 아니다. (source)

열린 질문

초록은 정확한 Claude Opus·Codex 버전, 실행별 예산, 스킬 개발 비용이나 부정행위 탐지 절차를 명시하지 않는다. 표시된 실행이 없다는 사실이 모든 실행에 부정행위가 없었다는 증거는 아니다. 보고서는 새로운 과학적 발견에 대한 독립적인 실험 검증을 입증하지 않는다. (source)

인용

• arXiv:2610.28763
• 보존한 초록과 메타데이터