AREX: Towards a Recursively Self-Improving Agent for Deep Research

TL;DR

모델 수준 파인튜닝이나 사람이 라벨링한 훈련 데이터 없이, 자체 평가한 품질 신호로 자신의 연구 파이프라인을 재귀적으로 개선하는 에이전트 프레임워크.

저자와 소속

가용한 소스에서 저자와 소속이 확인되지 않았다. 2026년 7월 제출된 프리프린트.

방법

AREX 는 개선 루프로 작동한다:

1. 실행 — 심층 연구 과제를 수행한다 (여러 소스에 걸친 다단계 정보 종합)
2. 평가 — 내부 품질 지표로 연구 산출물의 품질을 평가한다
3. 진단 — 파이프라인의 어느 단계가 가장 약한 산출을 냈는지 식별한다
4. 수정 — 그 단계의 파이프라인 전략을 갱신한다
5. 이후 실행에서 반복한다

이 루프는 모델 가중치 수준이 아니라 과제 실행 수준에서 돈다. gradient 갱신도 RL 도 없고, 프롬프트와 전략을 동적으로 조정할 뿐이다.

결과

심층 연구 벤치마크 성능이 반복을 거치며 개선된다. 구체적 벤치마크와 수치는 가용한 소스에서 확인되지 않았다. 정량적 주장은 논문을 참조할 것.

의의

과제 실행 수준의 재귀적 자기개선은 가중치 수준 RSI 와 구별된다:

• 더 다루기 쉽다 (컴퓨트 집약적 파인튜닝 루프가 없다)
• 더 즉시 배포 가능하다 (동결된 어떤 LLM 백엔드와도 작동한다)
• 프로덕션 연구 에이전트 파이프라인에 바로 유의미하다

정렬 관점의 함의: 과제 수준 자기개선이 자신의 제약과 감독 메커니즘을 모델링하는 능력의 개선으로까지 일반화된다면, 이는 AI Control Roadmap 위협 모델에 함의를 가진다. AREX 는 그 단계의 실현 가능성을 보여준다 — 에이전트가 인간 감독 없이 자신의 과제 수행을 개선하는 방식이다.

열린 질문

• 자기개선이 과제 유형을 가로질러 전이되는가, 아니면 과제에 크게 종속적인가?
• 평가 함수 자체가 그것이 평가하는 에이전트에게 게이밍당할 수 있는가?
• 더 넓은 RSI 우려와의 관계: AI Alignment 및 AI Control Roadmap

인용

arXiv:2607.21461 (2026). AREX: Towards a Recursively Self-Improving Agent for Deep Research.

관련

• Agents (LLM Agents) — 재귀적으로 자기개선하는 리서치 에이전트는 에이전트 주제를 끝까지 밀어붙인 형태다
• Agentic Reinforcement Learning — 여기서의 자기개선은 프롬프팅 패턴이 아니라 훈련 루프다