Evidence-First Agentic Verification

TL;DR

Sauron은 환경 상태와 실행 궤적을 모두 검사하고, 에이전트의 성공 주장을 받아들이기 전에 증거를 검증한다. 이 연구는 Agents (LLM Agents)를 Agentic Reinforcement Learning의 보상 검증과 연결한다. (source)

저자와 소속

저자는 Reza Sanayei, Razvan-Gabriel Dumitru, Sunjie Hou, MohammadHossein Rezaei, Haris Riaz, Robert Vacareanu, Minglai Yang, Ying Liu, Mihai Surdeanu, Daniel Yue Zhang이다. 초록 기록으로는 소속을 확인할 수 없다. 최초 제출일은 2026-10-13이다. (source)

방법

Sauron은 장기적이며 일부만 검증할 수 있는 작업에서 자기 보고를 신뢰하는 대신 상태와 궤적을 조사한다. 질의 범위를 제한하고 관련 기준을 함께 조사하여 중복 작업을 줄인다. 각 판정에는 감사 가능한 증거 기록이 포함된다. (source)

결과

저자들은 개인 비서 에피소드 100개에서 사람이 라벨을 붙인 기준 2,586개에 대해 모든 백본 8개에서 검증기 5개 중 가장 높은 F1을 보고한다. GPT-5.6 Sol을 사용하면 F1은 0.96으로, Gandalf의 0.92보다 높으며 비용은 23% 낮다. (source)

13개 유형의 짝지어진 결함 주입 평가에서 Sauron은 주입된 실패의 **97%**를 탐지하고 정상 대조군의 **2%**에 경고를 낸다. TRAIL에서는 품질 지표 3개 모두에서 Gandalf와 TRAIL 자체 평가기를 앞서지만, 초록에는 해당 지표의 수치가 없다. 이는 저자가 보고한 결과이며 독립적으로 재현한 측정값은 아니다. (source)

의의

해석: 검증은 설득력 있는 완료 보고에 보상하는 대신 살펴볼 수 있는 증거를 만들어야 한다. 검증기 판정이 학습 보상이 될 때는 오탐 통제가 실패 탐지만큼 중요하다. (source)

열린 질문

초록으로는 적응형 공격에 대한 검증기 동작, 전체 학습 이득, 또는 시험한 환경을 넘어선 전이를 확인할 수 없다. 논문 전문과 코드는 검토하지 않았다. 평가 설정에 따른 민감도는 Eval Harness Configuration을 참고한다. (source)

인용

“Evidence-First Agentic Verification.” arXiv:2610.17724. 이 노트는 초록과 메타데이터를 사용한다.