$ cat wiki/papers/2026/2610.14146-lhtb-2.md
Long-Horizon-Terminal-Bench 2.0: 지속적인 진척 측정
TL;DR
LHTB 2.0은 수 시간짜리 터미널 과제의 진행 중 진척을 평가하여 이진 완료 검사가 놓치는 부분적 진척을 보존한다. Long-Horizon-Terminal-Bench (LHTB)를 확장하고 수정한 버전이다. (source)
저자와 소속
Zongxia Li, Zhongzhi Li, Yucheng Shi, Ruhan Wang, Junyao Yang, Chengsong Huang, Zhichao Liu, Xiyang Wu, Anhao Li, Yue Yu, Ergan Shang, Fuxiao Liu, Tong Zheng, Ninghao Liu, Lichao Sun, Haitao Mi, Leowei Liang. 제출일은 2026-10-09이며 초록 페이지에서는 소속을 확인하지 못했다. (source)
방법
과제와 인프라의 결함을 수정하면서 기존 46개 과제를 보존하고 31개를 확장하여 13개 영역과 여덟 가지 과제 유형에 걸친 77개 과제를 구성한다. 재구성 과제는 참조 시나리오 여섯 개를 공개하고 세 개를 평가용으로 보류하며, 촘촘한 진척 단계별 보상으로 중간 작업을 평가한다. 실행 시간은 90분에서 세 시간으로 늘어나고, 30분마다 검증기 체크포인트를 기록한다. (source)
결과
1,145회 채점 실행과 15개 프런티어 모델에서 GPT-6-astra는 평균 단계별 보상 0.69, R이 최소 0.95인 과제 37개로 선두이며, GPT-5.6-sol은 0.67과 32개로 뒤를 잇는다. 재구성 과제 30개에서 평균 이진 점수는 0.221, 단계별 점수는 0.653이다. 이 수치는 해당 평가 조건에서 저자들이 보고한 결과다. (source)
의의
Eval Harness Configuration에서는 채점 규칙이 관찰 가능한 진척의 양을 바꾼다. 단계별 보상은 완료율이 아니며, 이 버전의 결과를 이전 벤치마크 점수와 직접 동일시해서는 안 된다. (source)
열린 질문
초록은 31개 과제를 확장했다고 하면서 재구성 결과는 30개에 대해 보고하며, 이 부분집합을 설명하지 않는다. 하네스 설정, 예산 민감도, 검증기 신뢰성은 전체 논문 검토가 필요하지만 여기서는 수행하지 않았다. (source)