RRSI: Regularized Recursive Self-Improvement of Agent Harnesses

TL;DR

스스로를 개선하는 에이전트 하니스는 자기가 진화 대상으로 삼은 과제에 과적합한다 — 분포 내 이득이 분포 밖에서는 "줄어들거나 아예 사라진다". RRSI는 제안 단계와 선택 단계에 제약을 걸어, 진화 대상 분할에서 최대 14.1점, 다섯 개의 분포 밖 벤치마크에서 최대 4.7점을 보고하며, 그 하니스는 정책 토큰을 30% 적게 쓴다 (source).

저자와 소속

스냅샷에 적혀 있지 않다. HuggingFace Daily Papers 파일은 arXiv id, 제목, 발행일, 업보트 수, 초록을 담고 있지만 저자 목록도 소속도 없으며, arxiv.org는 이번 실행의 샌드박스에서 EGRESS_BLOCKED를 반환한다.

초록 자체의 링크는 **github.com/google-research/rrsi**와 https://regularized-rsi.com/를 가리킨다. google-research 조직 경로는 Google DeepMind나 Google Research를 시사하지만, 저장소를 읽지 않았고 소속을 여기서 주장하지 않는다 — URL 경로는 저자 표기가 아니다.

방법

틀: 에이전트의 역량은 하니스 — 고정된 백본 모델을 둘러싼 프롬프트, 제어 흐름, 도구, 메모리, 컨텍스트 관리 — 에 의해 "크게 증폭된다". 그 하니스의 구성 요소별 수정을 반복해서 제안하고 선택하는 방법들은, 가중치를 건드리지 않은 채 에이전트 시스템 수준의 재귀적 자기개선에 해당한다.

RRSI는 두 지점에 정규화를 더한다.

• **제안자(proposer)**는 한 후보가 묶을 수 있는 수정 개수를 제한하는 시간에 따라 감소하는 예산으로 동작하며, 진화 이력을 이용해 탐색되지 않은 궤적 쪽으로 기울인다.
• **선택자(selector)**는 벤치마크 특이적 제안을 걸러내는 **비평자(critic)**와, "너무 작거나, 너무 비싸거나, 더 이상 쓸모없는" 변경을 제거하는 **가지치기(pruner)**를 갖춘다.

밝혀진 의도는 벤치마크 특이적인 것이나 잡음보다 재사용 가능한 에이전트 메커니즘을 선호하게 만드는 것이다.

결과

코딩, 에이전트형 워크스페이스, 엔지니어링 설계 과제에 걸친 여덟 개 벤치마크 (source):

측정	보고값
진화 대상 분할에서의 이득	최대 14.1점
다섯 개 분포 밖 벤치마크에서의 이득	최대 4.7점
정규화 없는 진화 대비 정책 토큰	30% 적음
두 수치 모두 "최대"이므로 평균이 아니라 상한이고, 스냅샷에 벤치마크별 표는 없다.
분포 내 수치는 분포 밖 수치의 세 배인데, 이것은 논문에 대한 비판이 아니라 논문
자신의 논점이다. 정규화는 격차를 좁히지 닫지는 못한다.

의의

이 위키에는 Eval Harness Configuration이라는 페이지가 있고, 그것은 공급사 벤치마크 수치가 하니스를 명시하지 않은 채 반복해서 공개되어 비교 불가능해지기 때문에 존재한다. RRSI는 같은 사실을 반대편에서 접근한다. 하니스를 그 대상 분할에서 최대 14.1점만큼 진화시킬 수 있다면, 하니스가 명시되지 않은 벤치마크 수치는 단지 문서화가 부족한 것이 아니라 누군가 손볼 동기를 가진, 명시되지 않은 인공물에 대한 측정이다.

30% 토큰 절감 쪽이 운영에 직접 닿는 부분이다. 같은 날의 모델 릴리스 (Claude Opus 5.5, GPT-6 Sol)는 둘 다 토큰당 가격이 아니라 작업당 토큰으로 비용을 주장한다. 고정된 백본 위에서 정책 토큰을 30% 줄이는 하니스 결과는 같은 지렛대를 모델 바깥에서 당긴 것이다.

열린 질문

• 어떤 백본 모델인가? 초록에 하나도 나오지 않아, 이 이득이 모델 규모에 걸쳐 유지되는지 확인되지 않는다.
• 다섯 개의 분포 밖 벤치마크는 무엇인가? 개수로만 언급된다.
• 정규화가 분포 내 성능을 희생시키는가, 정규화 없는 기준선 대비? 보고된 비교는 점수가 아니라 토큰 수다.
• 소속 — 위를 볼 것. google-research 경로는 인용이 아니다.

인용

arXiv 2609.24972, RRSI: Regularized Recursive Self-Improvement of Agent Harnesses, HuggingFace Daily Papers 2026-09-23 (snapshot).