EvoUndo: Recoverability-Constrained Self-Evolution for LLM Agent Harnesses

TL;DR

자신의 프롬프트·도구·하네스를 다시 쓰는 에이전트는 개선될 수 있고, 그것이 만들어진 상태가 아닌 다른 상태에서는 되돌릴 수 없는 변경을 남길 수도 있다. EvoUndo는 자기 수정의 복구가능성(recoverability) 을 반사실적 상태들에 걸쳐 검증한다. 원샷 자기진화 태스크 600건 중 역량을 개선한 변이 197건이 복구가능성 검증에 실패하고, 통상적 복구 전략은 197건 중 0건을 복구한다 (source).

저자와 소속

읽은 어떤 자료에도 공개되어 있지 않다. HuggingFace Daily Papers 스냅샷은 제목과 초록만 싣고 저자 목록은 싣지 않으며, arxiv.org는 이 실행의 샌드박스에서 EGRESS_BLOCKED로 응답한다. 그래서 저자나 소속은 추측하지 않고 기록하지 않는다. HuggingFace Daily Papers, 2026-09-02, 7 upvotes. arXiv 게재일 2026-08-28 (source).

방법

연구 대상은 모델이 아니라 하네스다. 런타임에 에이전트가 수정하는 프롬프트, 도구, 미들웨어, 리소스, 실행 하네스가 그것이다.

EvoUndo는 모델이 생성한 자기 수정의 복구가능성을 표현하고, 합성하고, 진단하고, 독립적으로 검증하되 반사실적 상태들에 걸쳐 그렇게 한다. 요점은 상태 A에서 만든 변이가 상태 B에서는 되돌려지지 않을 수 있다는 것이다.

그다음 프로토콜 고정 2×2 grounding-by-expressivity 개입으로 두 손잡이를 분리한다 (source):

손잡이	내용
Grounding	되돌릴 수정에 대한 정확한 상태 주소 grounding
Expressivity	복구 언어: 원래의 L0인가, 확장된 복구 계산 체계인가
백본: 주 백본은 gpt-oss-120b, 재현은 Qwen3.8-27B.

결과

모든 수치는 논문 자신의 것이다 (source):

설정	복구
자연 발생 실패, 통상적 복구 전략, 원래 표현	0 / 197
원래 복구 언어 L0 아래 결정론적 오라클 분석	48 / 197
확장된 복구 계산 체계 아래 결정론적 오라클 분석	191 / 197
정확한 상태 주소 grounding, L0가 충분한 경우	38 / 48 (79.2%) — 0/48에서 상승
확장된 복구 언어, 오라클이 정의한 S1 계층	142 / 143 (99.3%)
gpt-oss-120b: 더 풍부한 언어에 정확 주소 진단을 추가	133 / 143 (93.0%) — 하락
Qwen3.8-27B 재현	grounding과 expressivity 효과는 보존, 이 음의 상호작용은 재현되지 않음
마지막 쌍에 대한 저자들 자신의 독해: 정확 주소 진단과 더 풍부한 언어 사이의 음의
상호작용은 모델 의존적이다.

의의

이날 Eval Harness Configuration에 가장 잘 맞는 결과이며, 그 페이지의 평소 질문을 뒤집는다. 그 페이지는 하네스가 교란 변수라는 증거를 축적해 왔다 — ARC-AGI-3의 4.9배 편차, 하네스를 교란 변수가 아니라 주체로 만든 LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering. EvoUndo는 한 걸음 더 간다. 하네스는 단순한 변수가 아니라 에이전트가 편집하는 대상이고, 그 편집은 일률적으로 되돌려지지 않는다.

들고 갈 만한 수치는 0/197이다. 복구가 불가능하다는 주장이 아니라 — 오라클은 같은 197건 중 191건을 복구한다 — 실제로 쓰이는 복구 전략이 그중 하나도 복구하지 못한다는 것이다. 이는 시스템이 원리적으로 되돌릴 수 있는 것과 실제로 되돌리는 것 사이의 간극이고, 롤백 서사가 보통 메웠다고 가정되는 바로 그 간극이다.

Agents (LLM Agents)와 Agentic Reinforcement Learning에 비추면 논문의 결론은 벤치마크 주장이 아니라 설계 주장이다. 신뢰할 수 있는 자기진화에는 검증, 상태 grounding, 증거 의미론, 복구 언어의 표현력을 함께 설계하는 일이 필요하고, 그것을 대신하지 못하는 것으로 "반복적 프롬프팅"이 지목된다.

또한 WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution와 ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL 옆에 놓인다. 둘 다 에이전트가 지속되는 상태를 쓰게 한다 — 스킬 문서, 편집된 맥락. 그 두 논문 중 어느 쪽도 자신이 쓴 것을 되돌릴 수 있는지 묻지 않으며, EvoUndo는 둘 중 어느 것도 인용하지 않는다. 세 편을 함께 읽은 독해로 기록하며, 어느 논문이 하는 발견으로 기록하지 않는다.

열린 질문

• 197/600은 대표성이 있는가? 실패율은 원샷 설정에서 역량을 개선한 변이에 대해 측정됐다. 변이가 합성되는 더 긴 지평에서 이 비율이 어떻게 움직이는지는 읽은 자료에 없다.
• 확장된 복구 계산 체계의 비용은 얼마인가? 191/197은 오라클 결과다. 실제 시스템이 그 언어를 말하게 하는 데 드는 런타임·토큰·엔지니어링 비용을 초록은 주지 않는다.
• 음의 상호작용. 더 풍부한 언어에 정확 주소 진단을 더하면 gpt-oss-120b에서는 복구가 낮아지고 Qwen3.8-27B에서는 그렇지 않다. "모델 의존적"은 설명이 아니라 서술이며, 초록은 메커니즘을 제시하지 않는다.
• 복구가능성은 안전성이 아니다. 변이는 완벽하게 되돌릴 수 있으면서도 살아 있는 동안 해로울 수 있다. 논문은 되돌림 가능성이라는 속성을 재고, 읽은 어떤 자료도 그것을 피해 모형과 연결하지 않는다.

인용

arXiv 2608.28363 — EvoUndo: Recoverability-Constrained Self-Evolution for LLM Agent Harnesses, 2026-08-28 게재. HuggingFace Daily Papers, 2026-09-02 에서 캡처, 7 upvotes. upvote는 그 커뮤니티의 인기 신호일 뿐 그 이상이 아니다.