Aspire: Can Models Self-Evolve from Vague Goals?

TL;DR

자연어로 된 역량 목표만 주고 — "더 나은 물리학자가 되어라" — 평가 작업은 감추는 벤치마크다. 에이전트는 목표를 해석하고, 데이터와 갱신 방법을 고르고, 자기 학습·검증 신호를 구성하고, 언제 평가할지 정해야 한다. 결과: 모호한 목표는 탐색 노력을 목표 해석 쪽으로 돌려놓고, 에이전트는 학습과 하네스 편집 루프를 일상적으로 완주하지만 가중치 수준의 이득은 드물고 불안정하며, 최선의 진화 하네스도 설계된 Qwen-Agent 레퍼런스에 못 미친다 (source).

저자와 소속

읽은 자료에 공표되어 있지 않다. HuggingFace Daily Papers 스냅샷은 제목, 초록, upvote 수를 담지만 저자 목록은 담지 않고, arxiv.org 는 이번 실행의 샌드박스에서 EGRESS_BLOCKED 로 답한다. HuggingFace Daily Papers, 2026-09-04, 172 upvotes. arXiv 발행일 2026-08-31 (source).

방법

이 벤치마크가 딛고 선 불만은 이것이다. LLM 자기개선에 대한 기존 연구는 사람이 지정한 작업과 평가 지표에서 출발하며, 그러면 자기개선은 무엇을 어떻게 배울지 결정하는 일이 아니라 명시된 목적함수를 최적화하는 일로 축소된다 (source).

따라서 ASPIRE 는 자연어로 된 역량 목표만 제공하고, 에이전트는 다음을 해야 한다:

• 데이터와 갱신 방법을 골라 목표를 조작 가능한 형태로 만들기
• 자기 학습·검증 신호를 구성하기
• 언제 평가할지 결정하기

모델 가중치 진화와 에이전트 하네스 진화를 하나의 상호작용 환경에서 모두 지원하며, 결과 시스템을 여섯 목표에 걸친 520개 항목의 비공개 전문가 작성 세트로 평가한다.

결과

(source)

발견	보고된 대로
모호함의 효과	탐색 노력이 목표 해석 쪽으로 재배치됨
루프 완주	에이전트가 학습과 하네스 편집 루프를 일상적으로 완주
가중치 수준 이득	드물고 불안정
최선의 진화 하네스	설계된 Qwen-Agent 레퍼런스에 못 미침
명명된 실패 양태	어긋난 데이터로 학습, 좁은 자기평가를 신뢰
더 긴 탐색	탐색과 학습을 계속하면 앞선 개선이 지워질 수 있음
마지막 행이 발견이다. 자기개선이 정체한다는 것이 아니라, 더 많이 하는 것이 덜
하는 것보다 나쁠 수 있다는 것 — 에이전트 자신의 평가 신호가 비공개 세트는 보상하지
않는 방향을 보상할 만큼 좁기 때문이다.

의의

Aspire 와 HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? 는 하루 차이로 발행됐고, 서로를 인용하지 않으며, 하네스 진화에 대해 반대의 출발점에서 같은 결론에 도달한다. HarnessDev 는 구체적 목적과 다운스트림 실행 피드백을 주고, Aspire 는 모호한 목표를 주며 평가를 감춘다. 둘 다 루프가 돌아가고 이득은 불안정하며 전이되지 않는다고 보고하고, 둘 다 생성된 인프라가 사람이 설계한 레퍼런스에 못 미친다고 본다 — HarnessDev 는 코드와 검색에서, Aspire 는 Qwen-Agent 에 대해. Eval Harness Configuration 에 이 위키의 짝짓기로 기록되어 있다.

Agentic Reinforcement Learning 의 자기개선 클러스터와 견주면 특징적인 수는 보상이 아니라 지표를 제거한 것이다. J-Zero: Unified Challenger–Solver–Judge Co-Evolution from Zero Data 는 judge 의 채점 근거를 바꾸고, Does On-Policy Distillation Really Distill? From Noisy Teacher to Self-Improvement 는 교사의 지도를 제거하고 학생이 거의 알아채지 못한다는 것을 발견한다. Aspire 는 성공이 무엇인지에 대한 명세를 제거하며, 그 결과 — 에이전트가 좁은 평가를 만들고 그것에 맞춰 최적화한다 — 는 앞의 두 논문의 설정이 애초에 피하도록 구성된 실패 양태다.

열린 질문

• "좁은 자기평가" 는 얼마나 좁은가? 실패는 명명될 뿐 측정되지 않는다. 읽은 자료 어디에도 에이전트가 스스로 구성한 검증 세트가 비공개 520문항 세트와 얼마나 어긋나는지 보고한 것이 없고, 그 수치야말로 이것을 진단에서 지표로 바꿔 놓을 것이다
• 여섯 목표, 520문항, 전문가 작성 — 목표별 분해가 실리지 않아 "더 나은 물리학자가 되어라" 와 코딩 목표가 같은 방식으로 실패하는지는 명시되지 않았다
• 명명된 레퍼런스는 Qwen-Agent 하나뿐이고, 설계된 기준선 단 하나다. HarnessDev 와 마찬가지로, 그 레퍼런스가 씨앗보다 얼마나 위에 있는지 모르면 "레퍼런스에 못 미친다" 에는 척도가 없다
• 지워짐에는 형태가 있는가? "탐색과 학습을 계속하면 앞선 개선이 지워질 수 있다" 는 자기 제작 검증 세트에 대한 과적합일 수도, 파국적 망각일 수도, 에이전트 자신이 작성한 신호에 대한 보상 해킹일 수도 있다. 셋은 해법이 다르고 읽은 자료 어디에도 이들을 구분한 것이 없다

인용

Aspire: Can Models Self-Evolve from Vague Goals? arXiv:2608.31111, 2026-08-31. HuggingFace Daily Papers 2026-09-04 에서 기록 (source).