좋은 판단, 나쁜 조언

TL;DR

사전에 설계한 터미널 에이전트 연구에서 Jev 1.13은 오프라인 의사결정 순위 판별을 개선하지만, 검출 가능한 성공률 향상 없이 비용을 늘리는 것으로 나타났다. 이 구성에서는 에이전트가 작업을 마쳤는지 아는 능력이 유용한 개입으로 이어지지 않았다. (source)

저자와 소속

Naman Vats. 초록 기록으로는 소속을 확인할 수 없다. 최초 제출일은 2026-10-17이며, 수집일은 2026-10-22다. (source)

방법

Terminal-Bench 2.1에서 Claude Sonnet 5.5 에이전트 루프를 고정하고 제어기만 바꾼다. 제어기 없음, 결정적 규칙, Claude Haiku 5.5, Jev 1.13, 그리고 같은 결정 시점에 Jev의 개발 단계 선택 빈도를 표본추출하는 위약 대조군을 비교한다. 별도로 분리한 평가에는 21개 과제와 315회 시행이 포함된다. 논문 전문과 코드는 검토하지 않았다. (source)

결과

Jev는 시도당 비용을 19% 늘린다. 기하평균 비율은 1.19, 95% CI 1.02-1.36이며, 통과율은 **73.0% 대 73.0%**로 동일하다. 소형 LLM 제어기보다 저렴하며 그 비율은 0.81이지만, 위약 대조군보다는 22% 비싸다. 비교군 간 통과율 차이는 어느 것도 검출되지 않는다. (source)

오프라인 완료 요청 순위 판별은 AUROC 0.78에 도달하며, 규칙은 0.62, 소형 LLM은 0.60이다. 그러나 해당 실행의 **87%**가 통과할 때 Jev의 평균 완료 확률은 0.50이어서, 이미 올바르게 끝난 작업을 다시 검증하게 한다. 실행 포기를 선택한 제어기는 하나도 없다. 이는 이 설정에 대해 저자가 보고한 결과다. (source)

의의

이 연구는 예측 순위, 캘리브레이션, 개입의 가치를 구분한다. Model Routing에는 종단 간 비용과 성공 측정이 필요하며, Eval Harness Configuration에는 결정 시점과 빈도만으로 겉보기 이득을 설명할 수 있는지 확인하는 위약 대조군이 추가된다. (source)

열린 질문

초록은 재캘리브레이션, 다른 개입 규칙 또는 다른 작업에서 결과가 뒤집히는지 확인해 주지 않는다. 이 과제 집합에서 통과율 차이를 검출하지 못했다는 사실은 여러 배포 환경에서 동등하다는 증거가 아니다. 결과는 이 하네스 안의 Jev 1.13에 관한 것이며, 모든 의사결정 모델이나 라우팅 시스템에 관한 것이 아니다. (source)

인용

• arXiv:2610.24649
• 수집한 초록과 메타데이터