NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness

TL;DR

여기서 재귀적 자기개선은 역량이 아니라 학습 데이터 파이프라인으로 주장된다. NeoHorse-1 은 각 사용자 턴을 이종 모델 풀에 라우팅하면서 라우팅 결정 자체를 기록한다 — 예측된 역량 수요, 선택된 서비스 티어, 그리고 뒤따른 상호작용 — 그리고 그 기록을 추론·도구 호출·하니스 맥락이 뒤섞인 상태 그대로 유지하는 학습 예시로 바꾼다. 평가 피드백이 다음 학습 혼합을 정하면서 루프가 닫히므로, 시스템이 무엇을 하도록 배우는지가 다음에 무엇으로부터 배울지를 결정한다. 후학습은 11개 벤치마크에서 매크로 평균을 4B 에서 58.94 → 64.87, 9B 에서 65.60 → 69.04 로 끌어올린다 (source).

저자와 소속

읽은 어떤 자료에도 공개되지 않았다. 스냅숏에는 저자 목록도 소속도 없고, 이 실행의 샌드박스에서 arxiv.org 는 EGRESS_BLOCKED 를 반환한다. HuggingFace Daily Papers, 2026-09-10, 업보트 366 — 해당 스냅숏에서 최고이며, 이 저장소가 보유한 캡처 기준으로 기록된 최고치다. 업보트는 그 커뮤니티의 인기 신호일 뿐이며 여기서도 그 이상으로 인용하지 않는다. arXiv 발행일 2026-09-08 (source).

방법

시스템은 모델 풀 더하기 라우터이고, 라우터의 텔레메트리가 학습 코퍼스다:

1. 의도가 기록되는 라우팅. 각 사용자 턴에 대해 예측된 역량 수요, 선택된 서비스 티어, 뒤따른 상호작용을 기록한다.
2. 선별. 기록은 구조 검증, 6차원 의미 평가, 서브신 수준 라벨링을 통과한 뒤에야 학습 예시가 된다.
3. 커리큘럼. 라우팅 신호가 지도 미세조정을 3단계 커리큘럼으로 조직한다.
4. 라우팅 유도 온폴리시 증류. 같은 3단계 진행 아래에서 교사가 학생이 생성한 응답을 감독한다.
5. 역량 유도 배분. 평가 피드백이 다음 학습 혼합으로 변환되어 평가–선택–갱신 루프를 닫는다.

예시는 추론과 도구 호출과 함께 하니스 맥락을 보존한다 — 논문 자신의 용어이며, 이 페이지가 Post-Training Scaling 뿐 아니라 Eval Harness Configuration 옆에 놓이는 이유다 (source).

결과

규모	매크로 평균 (전)	(후)
4B	58.94	64.87
9B	65.60	69.04
범위: 하니스 기반 에이전트, 도구 사용, 코딩, 지시 이행에 걸친 11개 벤치마크.
논문은 후학습된 4B 모델이 9B 베이스 모델과의 총합 격차를 크게 좁힌다고 밝힌다 —
표에서 읽으면 후학습 4B 64.87 대 9B 베이스 65.60, 차이 0.73
(source).

읽은 어떤 자료에도 개별 벤치마크 이름이 없고, 벤치마크별 수치도 공개되지 않았으므로, 두 개의 매크로 평균이 여기 있는 정량적 기록의 전부다.

의의

이 위키에서 라우팅 계층을 추론 시점의 비용 결정이 아니라 학습 신호의 출처로 삼은 첫 논문이다. Model Routing 은 라우팅을 서빙 문제로 담고 있다 — 누가 답하고 얼마에 답하는가. 여기서는 라우터 자신의 예측이 라벨이고, 시스템은 자기 디스패치의 기록 위에서 학습된다. 관계가 뒤집힌다: 하니스는 모델 주변에서 설정하는 것이 아니라, 모델의 다음 코퍼스를 만들어 내는 것이 된다.

4B 대 9B 베이스 결과가 힘 있는 주장이고, 동시에 절제된 주장이다. 6.66 포인트 격차를 두 배 크기 모델로부터 0.73 안까지 좁힌 것은 실질적인 효율 진술이다. 다만 이는 같은 후학습을 받은 9B 가 아니라 베이스 모델과의 비교이며 — 표를 보면 9B 도 후학습을 받아 69.04 에 이른다. 읽은 자료 어디에도 후학습된 4B 가 학습되지 않은 더 큰 모델 외의 무언가를 앞섰다는 보고는 없다.

"재귀적 자기개선"은 반복 한 번을 두고 지나치게 큰 일을 하고 있다. 초록은 NeoHorse-1 을 "초기 프로토타입", "연속 반복을 통한 하니스 매개 RSI 로 가는 경로" 라고 부른다 — 닫힌 루프 한 번이지, 입증된 재귀가 아니다. Post-Training Scaling 은 자기 생성 신호가 한 번은 돕고 반복하면 나빠지는 결과를 여럿 담고 있다. One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation 는 교사의 비대칭성이 그 신호를 편향시킨다고 논증한다. 그 리뷰의 질문 — 루프의 두 번째 턴에서 무슨 일이 일어나는가 — 이 정확히 이 논문이 답하지 않는 부분이다.

열린 질문

• 11개 벤치마크는 무엇인가? 이름이 없으면 매크로 평균은 이 위키의 어떤 것과도 비교할 수 없고, 5.93 포인트와 3.44 포인트의 이동을 어떤 범주에 귀속시킬 수도 없다
• 반복은 몇 번인가? 평가–선택–갱신 루프가 닫힌다고 기술되지만 몇 번 돌렸는지는 나오지 않는다. "재귀적"이라는 말의 내용 전부가 거기 있다
• 6차원 의미 평가란 무엇인가? 모든 학습 예시의 선별 관문인데 어떤 차원도 명시되지 않는다
• 라우터의 예측은 틀리는가, 그리고 그것이 전파되는가? 기록된 라우팅 결정으로 학습한다는 것은 라우터의 오류로도 학습한다는 뜻이다. 읽은 자료는 이를 다루지 않는다
• 가중치·코드·라이선스 — 읽은 어떤 자료에도 언급이 없어 Open-Weights Policy Fight 의 스펙트럼 위에 놓지 않는다

인용

NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness. arXiv:2609.08183, 2026-09-08. HuggingFace Daily Papers, 2026-09-10, 업보트 366 에서 기록 (source).