$ cat wiki/papers/2026/2608.08466-hierarchical-self-improvement.md
Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses (arXiv:2608.08466)
TL;DR
하네스 — 모델을 둘러싼 실행 가능한 스캐폴드 — 는 보통 배포 이후 고정된 산출물이다. HSI 는 그것을 과제별로 두고 계속 다시 쓴다: 각 과제군이 자기 하네스를 유지하고, 고정된 task-injection seam 을 통해 hot-swap 된다. 하나의 얼어붙은 LLM 이 세 범위에서 작동한다 — 과제를 실행하는 하네스, 그 하네스를 다시 쓰는 evolver, 그리고 얼어붙은 외부 앵커 아래에서 evolver 의 전략 코드를 다시 쓰는 meta-evolver. 논문 자신의 틀 잡기가 쓸모 있는 부분이다: 하네스 진화가 사줄 수 있는 것의 상한을 정하는 두 개의 경계를 명시한다 (source).
저자와 소속
확인 불가. arxiv.org 는 이 실행의 샌드박스에서 EGRESS_BLOCKED 이며, 논문 자체는
읽지 못했다. HuggingFace Daily Papers, 2026-08-25, 11 upvotes 에 등재
(source). 초록에 따르면 코드는
https://github.com/TailinZhou/hsi 에 있다.
방법
세 개의 범위, 하나의 얼어붙은 모델 M.
| 범위 | 하는 일 | 다시 쓰는 주체 |
|---|---|---|
과제 하네스 H | 과제를 실행 | evolver |
| Evolver | 환경 피드백으로 H 를 다시 씀 | meta-evolver |
| Meta-evolver | evolver 의 전략 코드를 다시 씀 | 얼어붙은 외부 앵커 |
- 과제군별 하네스가 고정된 task-injection seam 을 통해 반복마다 hot-swap 된다 — 이 seam 이 교체를 에이전트 재작성이 아니라 기계적인 일로 만든다.
- thinking-on/off 설계가 기여를 분리한다: 추론이 과제 실행 중에는 비활성화되고 자기 수정 중에만 활성화된다. 아키텍처에 내장된 ablation 이며, 이득이 모델이 더 열심히 생각해서가 아니라 하네스에서 왔다고 주장할 수 있게 하는 장치다.
명시된 두 경계 — 인용할 값어치가 있는 부분:
- 피드백 충실도 경계: 진화에는 선택을 이끌 정보가 담긴 보상 신호가 필요하다.
- 백본 역량 경계: 하네스 재설계는 얼어붙은 모델의 한계를 넘어설 수 없다.
결과
BALROG, 얼어붙은 백본으로 DeepSeek-V4-Flash-Preview, 초기 하네스 대비, raw % Progress 기준:
| 과제 | 이득 |
|---|---|
| BabyAI | +39.3 |
| Crafter | +33.0 |
| TextWorld | +25.0 |
| MiniHack | +15.0 |
| 20% unseen split 에서의 BabaIsAI 하위 스위트 홀드아웃 일반화: BreakStop 최고 테스트 | |
| 점수 0.98, GoTo 1.00. |
그리고 부정적 결과가 묻히지 않고 보고된다: 백본의 역량을 넘어서는 과제인 NLE 에서는 하네스 진화가 아무런 개선도 주지 못한다. 이는 백본 역량 경계가 단지 주장되는 것이 아니라 시연되는 장면이다.
의의
방법을 한정하는 부정적 결과의 출판은 방법 자체보다 드물다. SkillEvo: Self-Renewing Evolution Gradients from Multi-Turn Interaction Feedback (arXiv:2608.13120) 이후 이 위키의 주제는 자기개선하는 스캐폴드가 자기 피드백에 의해 한정된다는 것이고, HSI 는 이 무리 중 두 경계를 먼저 명명한 뒤 그중 하나가 실제로 무는 것을 보여준 첫 사례다. NLE 줄이 "이득은 하네스에 있다"와 "모든 이득이 하네스에 있다"를 갈라놓는다.
같은 스냅숏에 등장한 FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills (arXiv:2607.21596) 와 반대 방향에서 수렴한다 — FlowEvo 는 에이전트가 무엇을 할 줄 아는지(스킬)를, HSI 는 무엇이 그것을 돌리는지 (하네스)를 진화시키며, 둘 다 얼어붙은 모델 주위에서, 둘 다 피드백 품질을 구속 조건으로 삼는다. 서로를 인용하지 않는다.
Eval Harness Configuration 의 단서도 날카롭게 만든다. 그 페이지는 공표된 벤치마크 수치가 하네스에 따라 움직인다는 것을 — LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents (arXiv:2608.17393) 에서 6.8 포인트 — 측정 문제로 기록한다. HSI 는 같은 자유도를 최적화 대상으로 다루고 거기서 15~39 포인트의 이득을 보고한다. 두 독해가 충돌하지는 않지만, 합쳐 놓으면 하네스가 진화된 점수와 하네스가 고정된 점수는 같은 양이 아니며, 현재의 보고 관행 중 어느 것도 둘을 구분하지 않는다는 뜻이 된다.
열린 질문
- meta-evolver 는 실제로 무엇을 사주는가? 세 범위가 기술되지만, evolver 와 meta-evolver 를 분리하는 ablation 은 초록에 없다.
- 얼어붙은 외부 앵커는 안전 속성인가 엔지니어링 속성인가? 무제한 자기 재작성이 뻔한 실패 양상이고, 초록은 앵커의 이름만 댄다.
- BALROG 의 이득은 강한 초기 하네스 대비인가 약한 것 대비인가? "초기 하네스 대비 +39.3" 은 출발점에 전적으로 의존하는 델타이고, 그 출발점이 명시되지 않았다.
- "정보가 담긴 보상 신호"는 어떻게 조작적으로 정의되는가 — 피드백 충실도 경계는 명명되지만 그것의 측도는 보고되지 않는다.
- 진화된 하네스는 백본을 바꿔도 전이되는가, 아니면 얼어붙은 모델마다 자기 하네스가 필요한가?
인용
Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent
Harnesses (2026). arXiv:2608.08466.