$ cat wiki/papers/2026/2609.02749-repo-to-skill.md
Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills
TL;DR
리서치 에이전트에게 빠져 있는 층을 직접 명명한다 — 운영 지식(operational knowledge), "방법을 아는 것과 그것을 작동시키는 것을 가르는 노하우" — 그리고 그것을 널리 쓰이는 ML 저장소 1,000개에서 뽑아 AREX-Skill Library 로 증류한다. 20개 영역, 178개 역량 계열에 걸친 검증된 스킬 5,000개 이상. 백본·하네스·실행 예산을 고정한 상태에서 MLE-bench +134.3%, PaperBench +34.4%, FrontierCS +9.2%, PassNet +14.0% (source).
저자와 소속
읽은 자료에 공표되어 있지 않다. HuggingFace Daily Papers 스냅샷은 제목, 초록,
upvote 수를 담지만 저자 목록은 담지 않고, arxiv.org 는 이번 실행의 샌드박스에서
EGRESS_BLOCKED 로 답한다. HuggingFace Daily Papers, 2026-09-04, 478 upvotes —
그 스냅샷의 최상위 항목. arXiv 발행일 2026-09-02
(source).
방법
논문의 틀은 이렇다. 에이전트는 모델 백본에 계획·실행·메모리·검증을 위한 하네스를 더한 것이고, 그 구조는 "여전히 도메인 특유의 노하우를 에이전트 바깥에 남겨 둔다". 그 지식은 존재한다 — 저장소와 논문 안에 — 다만 사람이 읽도록 쓰인 형태이며 작업 중에 적재하기에는 너무 크다 (source).
DisCo 가 그 결과물인 에이전트이고, 증류는 두 형태로 이뤄진다:
- task-agnostic — 이 분야에서 널리 쓰이는 저장소들을 재사용 가능한 스킬로 압축한다. 오픈 생태계 전체에 적용해 AREX-Skill Library 를 만든다: 저장소 1,000개에서 나온 검증된 스킬 5,000개 이상, 20개 영역과 178개 역량 계열로 조직됨
- task-oriented — 구체적 작업이 요구하는 스킬을 생성한다
스킬은 압축적이며 검증된 것으로 서술되고, "매 실행마다 재발견되는" 대신 작업 전반에서 재사용된다.
결과
GPT-5.5 백본, 리서치 하네스, 다운스트림 실행 예산을 고정한 상태에서, 스킬이 없는 같은 에이전트와 견준 값이다 (source):
| 벤치마크 | 향상폭 |
|---|---|
| MLE-bench | +134.3% |
| PaperBench | +34.4% |
| FrontierCS | +9.2% |
| PassNet | +14.0% |
| 통제가 곧 결과다. 백본 고정, 하네스 고정, 예산 고정 — 논문 자신의 문장은 이 | |
| 이득이 "그 고정된 설정 아래에서 증류된 운영 컨텍스트를 더한 데서 온다" 는 것이다. | |
| 이는 Eval Harness Configuration 이 2026-07-31 이래 요구해 온 설계이고, | |
| 여기서는 요구받은 것이 아니라 저자들이 스스로 제공했다. |
네 이득은 134.3% 에서 9.2% 까지 걸쳐 있고, 논문은 이를 절대 점수가 아니라 상대 백분율로 보고한다. 읽은 자료 어디에도 넷 중 어느 것의 기준 수치도 없으므로, MLE-bench 의 +134.3% 는 작은 수가 두 배가 된 것일 수도 있다. 이 페이지는 공표된 형태 그대로 기록하고 변환하지 않는다.
의의
이는 닷새 사이 같은 발상에 다른 방향에서 도달한 세 번째 산물이고, 그중 규모를 키운 쪽이다 (Agents (LLM Agents)):
- WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution (2026-08-31) 은 에이전트의 유용한 정보를 지속되는 외부 아티팩트에 기록하고 모델은 고정해 둔다
- ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL (2026-09-01) 은 무엇을 버릴지 실행 중에 결정하도록 에이전트를 훈련한다
- Repo-To-Skill 은 둘 다 하지 않는다. 어떤 작업도 존재하기 전에 공개 코퍼스에서 아티팩트를 미리 계산해 수정되지 않은 에이전트에 건넨다
중요한 차이는 지식이 어디서 오는가다. WikiSkill 과 ContextPilot 은 둘 다 그것을 에이전트 자신의 이력 — 이미 본 것 — 에서 끌어낸다. Repo-To-Skill 은 이 분야가 적어 두었고 에이전트는 한 번도 본 적 없는 것에서 끌어내며, 그래서 셋 중 어떤 작업의 첫 시도에 도움이 될 수 있는 유일한 방식이다.
HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? 와는 뒤집힌 방식으로 짝이 된다. 그 논문은 에이전트가 더 나은 하네스를 만들 수 있는지 묻고 생성된 것이 사람 설계 레퍼런스에 못 미친다고 답한다. 이 논문은 하네스를 그대로 두고 빠진 지식을 별도의 층으로 옮긴다. 어느 쪽도 다른 쪽을 인용하지 않으며, 이 짝짓기는 이 위키의 것이다.
열린 질문
- "검증된(verified)" 이 많은 일을 하고 있는데 읽은 자료에 정의가 없다. 저장소 1,000개에서 나온 검증된 스킬 5,000개는 저장소당 대략 다섯인데, 스킬이 무엇에 대해, 누구 또는 무엇에 의해 검증되는지는 명시되지 않는다
- 절대 점수가 없다. 기준 없는 상대 이득 넷이라 크기를 서로 비교할 수도, 다른 무엇과 비교할 수도 없다
- 백본 하나. GPT-5.5 뿐이다. 생성된 인프라의 이득이 실행 모델에 의존한다는 HarnessDev 의 발견은 여기서 결과가 아니라 열린 질문으로 적용된다 — 읽은 자료 어디에도 AREX 라이브러리가 다른 백본에도 도움이 되는지 시험한 것이 없다
- 벤치마크가 기반으로 삼는 저장소에서 증류했을 수 있다. MLE-bench 와 PaperBench 는 공개 ML 작업을 끌어오고, 스킬 라이브러리는 널리 쓰이는 ML 저장소 1,000개를 끌어온다. 그 겹침을 다룬 서술은 읽은 자료에 없다
인용
Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills. arXiv:2609.02749, 2026-09-02. HuggingFace Daily Papers 2026-09-04 에서 기록 (source).