Harness-Zero: Harness Distillation via Agent-as-Harness

TL;DR

특화된 에이전트 하니스가 만들어 내는 이득을 가중치 안으로 학습시켜, 배포 시점에는 하니스를 떼어낼 수 있게 한다. 특화 하니스를 제거한 상태에서 거시 평균 과제 성공률이 **23.3% → 44.3%**로, 그 하니스를 그대로 붙였을 때의 41.7%보다 높다 (source).

저자와 소속

스냅샷에 적혀 있지 않다. arXiv id, 제목, 발행일, 업보트 수, 초록은 있지만 저자 목록도 소속도 없다. arxiv.org는 이번 실행의 샌드박스에서 EGRESS_BLOCKED를 반환한다. 추측하는 대신 미상으로 기록한다.

방법

제기된 문제: 하니스는 에이전트를 개선하지만 그 이득은 배포 시점의 하니스에 묶여 있고, 최적의 하니스는 도메인·인스턴스·모델마다 다르다. 그래서 범용 에이전트는 차선의 공용 하니스를 받아들이거나, 계속 늘어나는 특화 하니스 집합 사이에서 라우팅해야 한다.

**하니스 증류(harness distillation)**는 도메인 또는 인스턴스에 최적화된 하니스를 학습 시점의 지침으로 쓰고, 그것이 유도하는 행동을 모델 가중치로 옮겨, 하나의 고정된 목표 하니스 아래에서도 이득이 살아남게 한다.

걸림돌은 두 하니스의 행동 공간과 가용 정보가 다르다는 점이다. 그래서 최적화된 하니스의 지침을 목표 하니스에 대한 지도 신호로 바로 쓸 수 없다. Harness-Zero의 답은 agent-as-harness다. 최적화된 하니스의 안내를 받는 하니싱 에이전트가 목표 하니스의 행동 공간에서 학생의 응답을 실행 전에 교정하여, 하니스 지침을 학습 시연으로 바꾼다. 그렇게 얻은 궤적으로 미세조정하면 그 행동이 내면화된다.

결과

도메인: 지식 작업, 도구 사용, 과학 (source).

주장	보고값
기본 모델, 특화 하니스 제거	거시 평균 과제 성공률 23.3%
기본 모델, 특화 하니스 부착	41.7%
Harness-Zero, 하니스 제거	44.3%
하니스 유도 행동의 복원	28개 패턴에 걸쳐 평균 82.3%
별도로, 같은 진화된 하니스를 쓰는 프런티어 LLM에서는 **agent-as-harness가
code-as-harness를 앞선다**.

44.3% 대 41.7% 결과가 핵심이며 신중히 읽어야 한다. 증류된 모델이 증류의 출처인 하니스를 넘어선다는 것이 이 논문의 놀라운 주장인데, 초록은 이를 단언하지만 스냅샷에는 메커니즘을 설명하는 절제 실험이 없고, 분산이나 시드 개수가 적히지 않은 2.6점은 이 위키가 확립된 것으로 다룰 만한 차이가 아니다.

의의

같은 HuggingFace Daily Papers 묶음에 실린 RRSI: Regularized Recursive Self-Improvement of Agent Harnesses와 함께 읽으면, 두 논문은 같은 대상을 양끝에서 감싼다. RRSI는 일반화되는 하니스를 어떻게 진화시킬 것인가를 묻고, Harness-Zero는 하니스가 아예 필요 없게 만드는 법을 묻는다. 둘 다 현재 에이전트 역량의 상당 부분이 가중치가 아니라 하니스에 있다는 것을 전제로 삼는다.

그 전제야말로 Eval Harness Configuration이 공급사 쪽에서 증거를 쌓아 온 것이며, 거기서는 벤치마크 수치가 하니스를 명시하지 않은 채 공개된다. 같은 가중치 위에서 하니스가 **23.3% → 41.7%**만큼의 값어치라면, 명시되지 않은 하니스는 문서화의 공백이 아니라 결과의 대부분이다.

배포에 관한 논증은 비용에 관한 논증이기도 하다. 하니스를 떼어내면 그 토큰 부담과 라우팅 로직도 함께 사라지며, 이는 RRSI의 정책 토큰 30% 절감과 같은 방향이다.

열린 질문

• 어떤 기본 모델이고 어느 규모인가? 스냅샷 어디에도 없어서, 23.3%가 약한 출발점인지 프런티어급인지 알 수 없다 — 대표 수치인 21점 상승은 두 경우에 전혀 다른 뜻이 된다.
• 증류된 모델이 어떻게 교사 하니스를 넘어서는가? 단언되었을 뿐 설명되지 않았다.
• 28개 패턴은 무엇이며, 82.3% 복원이 남겨 두는 것은 무엇인가?
• 증류된 행동이 학습 대상이 아닌 다른 목표 하니스로도 전이되는가, 아니면 의존 대상이 옮겨갔을 뿐인가?

인용

arXiv 2609.24974, Harness-Zero: Harness Distillation via Agent-as-Harness, HuggingFace Daily Papers 2026-09-23 (snapshot).