$ cat wiki/papers/2026/2608.16391-ventor-qtest.md
Ventor-QTest: Threat-Model-Driven Verification of Vendor-Hosted LLM APIs (arXiv:2608.16391)
TL;DR
호스팅 API 가 실제로 무엇을 내주는지에 대한 블랙박스 감사로, 대상으로부터 logprob 을 전혀 요구하지 않는다. 평균 충실도 손실(AFL)과 극단 충실도 손실(EFL) 두 통계량을 보고하며, 어느 쪽도 GPQA-Diamond 정확도와는 감지할 만한 연관이 거의 없는 반면 두드러진 EFL 은 과제 노출이 늘어남에 따른 Terminal-Bench 통과율 하락과 함께 나타난다고 밝힌다 (source).
저자와 소속
확보 불가. 이 환경에서 arxiv.org 는 EGRESS_BLOCKED 이고 논문은 읽지 않았다.
HuggingFace Daily Papers 스냅숏은 제목, id, 날짜, 초록만 담는다. 명시된 코드 위치는
github.com/Tencent/AI-Infra-Guard 로 역시 읽지 않았고 — github.com 도 같은 차단 아래
있다 — 이것이 읽은 자료에 있는 유일한 소속 신호다
(source).
HuggingFace Daily Papers, 2026-08-19, 12 upvotes 에 올라 있다 — 그 커뮤니티의 인기 신호일 뿐 그 이상이 아니다 (source).
방법
명시된 문제: 오픈 웨이트 모델을 배포하는 서드파티 제공자가 이제 생태계의 중요한 일부인데, 그들의 추론 API 품질을 감사하는 것은 미해결 문제라는 것. 호스팅 모델 라우팅은 확률 과정 으로 정식화되고, 감사는 복합적이며 블랙박스 다 — 대상으로부터 확률 정보를 요구하지 않는다.
| 구성 요소 | 무엇을 재는가 | 어떻게 |
|---|---|---|
| 반복 요청 | AFL — 평균 충실도 손실 | 고정된 제약 문맥을 대상에 여러 번 보내고, 반환된 텍스트 빈도로 범주형 출력 분포를 재구성해, 영편향 보정된 창 내 평균 coarsened-KL 통계량을 보고 |
| 장문 시퀀스 | EFL — 극단 충실도 손실 | 독립 실행들을 사용해, 실행 수준의 기준 중심 surprisal 통계량의 경험적 상위 꼬리 를 보고 |
결과
모든 수치는 보고된 값이다 (source).
| 결과 | 보고된 값 |
|---|---|
| AFL 타당성 | logprob 을 제공하는 세 경로 조건에서, AFL 이 logprob 기반 coarsened-KL 비교량과 강한 선형 기술적 일치를 보임 |
| EFL 편차 | 일곱 개 경로 스냅숏에 걸쳐, 20회 시퀀스 프로브가 경로별 EFL 편차를 드러냄 |
| 정확도와의 연관 | AFL 과 EFL 모두 GPQA-Diamond 정확도와는 경로 수준에서 감지할 만한 연관이 거의 없음 |
| 장기 지평 과제와의 연관 | 두드러진 EFL 은 과제 노출이 늘어남에 따른 Terminal-Bench 통과율 하락과 함께 나타남 |
| 이 갈림에 대해 논문이 내놓는 설명: 장기 지평 과제에서의 정확성이 **극단 충실도 손실에 더 | |
| 민감할** 수 있다는 것. 권고는 특히 장기 지평 에이전틱 과제를 감사할 때 AFL 과 EFL 을 함께 | |
| 보고하라는 것이다. |
초록이 주지 않는 것: 감사한 경로나 제공자, 그 뒤의 모델, 어떤 AFL·EFL 값, Terminal-Bench 하락의 크기, 라이선스.
의의
Model Routing 이 갖지 못했던 도구이며, 그 페이지의 가장 큰 열린 질문이 생긴 지
이틀 만에 도착한다. 2026-08-17 에 Stripe 가 OpenRouter 를 70억 달러 넘게 인수했고, 이
위키는 읽은 자료 어디에도 이 저장소의 scripts/spec-check.py 가 매일 읽는 카탈로그에 대한 변경
의사가 없다고 기록했다. 더 깊은 노출은 애초에 카탈로그의 가격이 아니었다 — 라우팅된 요청의
제공자가 벤더가 아니라는 점이며, 이는 spec-check 가 헤드라인 가격이 아니라 퍼스트파티
엔드포인트와 비교하도록 만든 바로 그 발견이다. Ventor-QTest 는 그 귀결을 직접 잰다: 제공자의
협조 없이, 경로별로, 실제로 무엇을 받고 있는지.
GPQA 결과가 행동을 바꿔야 하는 쪽이다. 어떤 경로는 두드러진 충실도 손실을 보이면서도 단일 턴 지식 벤치마크에서는 정상 점수를 낸다. 이 위키가 서드파티 호스트에서 기록하는 모든 오픈 웨이트 수치는 단일 턴 모양의 숫자이고, 따라서 표준 증거는 이 논문이 재는 결함에 구조적으로 눈이 멀어 있다. 오늘 기록된 Qwen 3.8 27B 의 Artificial Analysis Intelligence Index 52 에 직접 걸린다 — 아무도 지명하지 않은 어떤 서빙 경로를 거쳐 산출된 리더보드 수치다.
그리고 하네스 클러스터에 정면으로 떨어진다. 실패는 Terminal-Bench 에서, 과제 노출이 늘어남에 따라 악화되며 나타난다 — StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling (arXiv:2608.15089) 이 95.3% 를 보고하는 바로 그 벤치마크, 같은 장기 지평 영역이다. 같은 날의 두 논문이 결국 장기 지평 에이전트 수치가 가중치 변화 없이 움직이는 두 가지 이유를 준다: 그것을 감싼 하네스와, 그것을 서빙하는 경로. Eval Harness Configuration 의 상시 불만은 보고된 점수가 자기 구성을 지명하지 않는다는 것인데, 여기에 그 클러스터의 어느 논문도 아예 지명하지 않는 구성 요소가 하나 더해진다.
열린 질문
- 어느 경로, 어느 제공자인가? 일곱 개 경로 스냅숏, logprob 을 제공하는 세 조건, 이름은 없다. 특정 호스트에 대해서는 결과를 쓸 수 없으며, 감사 도구로서는 그것이 요점을 잃는 일이다.
- Terminal-Bench 하락은 얼마나 큰가? 두드러진 EFL 과 함께 나타난다고만 서술되고 수치가 없다 — 방향이지 크기가 아니다.
- 충실도 손실의 원인은 무엇인가? 양자화, 배칭, 추측 디코딩, 조용한 모델 교체, 샘플링 파라미터 드리프트가 모두 들어맞는다. 이 방법은 원인을 식별하지 않은 채 괴리를 탐지하며, 읽은 자료 어디에도 정직한 엔지니어링 절충과 바꿔치기를 갈라놓는 것이 없다.
- "감지할 만한 연관이 거의 없음" 은 영가설 결과인가, 검정력이 부족한 결과인가? 경로 수준 연관을 보기에 일곱 경로는 작은 표본이다.
- 저자, 소속, 라이선스 — 미상. 논문은 읽지 않았고, Tencent 저장소 경로가 유일한 신호다.
인용
Ventor-QTest: Threat-Model-Driven Verification of Vendor-Hosted LLM APIs (2026).
arXiv:2608.16391.