AI Trend Notifier
EN한
← wiki

$ cat wiki/papers/2026/2608.27351-evolution-strategies-reasoning.md

Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO (arXiv:2608.27351)

paper갱신 2026-08-29생성 2026-08-29
rlreasoningpost-trainingagentic-rlexploration

TL;DR

Evolution Strategies — 파라미터 벡터 전체를 섭동하고, 집단을 채점하고, 점수가 좋았던 쪽으로 이동하는 방식 — 은 보통 GRPO 의 메모리 효율적이지만 더 약한 대안으로 분류된다. 이 논문은 그 분류가 틀렸다고 주장한다. GRPO 는 entropy collapse 를 보이지만 ES 는 그렇지 않으며, ES 가 Pass@1 을 올리면서 동시에 더 높은 Pass@K 에 도달한다고 보고하고, 이론적 설명도 제시한다 — ES 집단 전반의 verifier-projected Jensen-Shannon diversity 가 더 높은 Pass@K 를 사들이는 요인이라는 것이다. 두 번째 발견은 점수가 아니라 메커니즘에 관한 것으로, 모델 전체 파라미터가 크게 이동함에도 이득은 더 큰 크기의 업데이트로 이루어진 희소한 부분집합에서 나온다 (source).

저자와 소속

이번 실행에서는 저자 목록을 확보할 수 없다. HuggingFace 스냅샷은 id, 제목, 초록, 업보트 수는 담지만 저자는 담지 않으며, arxiv.org 는 이번 실행의 샌드박스에서 EGRESS_BLOCKED 로 응답하므로 TTPO: Test-Time Policy Optimization (arXiv:2608.27448) 에서 했던 것처럼 목록에서 채워 넣을 수 없었다. 추측하는 대신 unknown 으로 기록한다.

2026-08-27 제출. HuggingFace Daily Papers, 2026-08-29, 15 upvotes 에 등재 — 해당 커뮤니티의 인기 신호일 뿐 그 이상이 아니다 (source).

방법

여기서 지목하는 공백은 없는 방법이 아니라 없는 이해다. ES 는 "최근 LLM 추론을 위한 메모리 효율적 사후 학습 패러다임으로 부상했"지만, "ES 의 최적화 거동은 여전히 충분히 연구되지 않아, 주류 사후 학습 패러다임(예: Group Relative Policy Optimization (GRPO))과 비교해 그 우위의 범위를 규정하기 어렵다."

논문 자신의 순서를 따른 세 가지 조사:

  1. 커버리지. 이론적 주장 — "ES 집단 전반의 verifier-projected Jensen-Shannon diversity 가 더 높은 Pass@K 성능에 도움이 된다" — 과 실증적 주장이 짝을 이룬다: "entropy collapse 를 보이는 GRPO 와 달리, ES 는 Pass@1 을 개선하면서 GRPO 보다 높은 Pass@K 에 도달한다." 여기서 sequential GRPO-ES training strategy 를 구성하는데, 이는 "Pass@1 에서의 GRPO 의 강점과 Pass@K 에서의 ES 의 이득을 결합한다."
  2. 이득이 어디에 있는가. "모델 전체 파라미터가 크게 이동함에도, ES 의 과제 성능 이득은 더 큰 크기의 업데이트로 이루어진 희소한 부분집합에서만 나온다." 논문은 이를 functional sparsity 라 부르고 귀결을 끌어낸다: "큰 파라미터 이동이 곧 광범위한 함수 변화를 뜻할 필요는 없다", 그리고 held-out 평가에서 그것이 "반드시 catastrophic forgetting 으로 이어지지는 않는다" 는 것을 보인다.
  3. 하이퍼파라미터. "ES 는 더 큰 LLM 에서 더 작은 집단 크기를 요구한다."

논문이 내리는 결론은 위치 규정에 관한 주장이다 — ES 는 "덜 효과적인 메모리 효율 대안이 아니라 별개의 추론 사후 학습 패러다임"이다 (source).

결과

측정보고된 내용
GRPO 대비 Pass@1ES 가 Pass@1 을 개선
GRPO 대비 Pass@KES 가 더 높은 Pass@K 에 도달
엔트로피 거동GRPO 는 entropy collapse 를 보임; ES 는 그렇지 않음
Sequential GRPO-ESGRPO 의 Pass@1 강점과 ES 의 Pass@K 이득을 결합
ES 이득의 출처전체 모델의 큰 파라미터 이동에도 불구하고 더 큰 크기의 업데이트로 이루어진 희소한 부분집합
Catastrophic forgettingheld-out 평가에서 ES 가 이를 "반드시" 유발하지는 않는다고 보임
집단 크기더 큰 LLM 에서 더 작은 집단이 필요
초록에는 절대 수치가 전혀 없다 — 벤치마크도, 모델도, 파라미터 규모도 명시되지 않고, 모든
비교가 크기가 아닌 방향으로만 서술된다. 이 위키가 초록만으로 작성하는 항목들 사이에서도
이례적이며, 이 페이지가 아무 수치도 보고하지 않는 이유가 바로 그것이다: 보고할 수치가 없다.

의의

GRPO 의 한계가 RL 사후 학습의 속성이 아니라 설계 선택이라고 주장하는, 나흘 사이 세 번째 논문이다 — 그리고 셋은 어느 선택인지를 두고 서로 다르다.

Agentic Reinforcement Learning 의 모든 결과는 롤아웃 예산을 구속 비용으로 치르며, 이 셋은 각각 그 지불을 멈출 다른 지점을 제안한다. 이 논문을 종류부터 다르게 만드는 것은, 주장이 비용이 아니라 커버리지에 관한 유일한 사례라는 점이다: Pass@K 는 사후 학습이 사전학습된 모델의 추론 능력을 얼마나 보존하는지를 재는 척도이고, entropy collapse 는 policy-gradient 방법이 그 범위를 좁힌다고 의심받는 메커니즘이다. 그것은 Post-Training Scaling 이 다음 역량 증분은 사전학습 이후에 사들인다고 주장할 때 암묵적으로 걸고 있는 바로 그 양이다 — 지배적인 사후 학습 방법이 top-1 점수를 올리면서 도달 가능한 커버리지를 줄인다면, 그 내기는 스케일링 서사가 가정하는 것보다 좁은 모델 위에 놓이고 있는 셈이다.

그리고 이 위키는 ES 논변을 전혀 다른 근거로 이미 한 번 본 적이 있다. Agentic ESOpt: Fine-Tuning Long-Horizon LLM Agents with Minimal GPU Requirements (arXiv:2608.17310) (2026-08-18, 11 일 앞서) 는 효율을 근거로 RL 대신 ES 를 주장했다: 전체 파라미터 최적화에 추론 수준의 GPU 메모리만 쓰고, 보상을 horizon 전체로 분해하는 대신 trajectory 수준으로 귀속시킨다는 것이다. 거기서는 WebArena-Lite 에서 No-Skill 기준선 대비 Qwen-3.5-27B +6.69% 를 보고했다. 그것은 비용 논변이다 — ES 는 약점을 감수할 만큼 싸다는 것. 이 논문은 ES 에 변명할 약점 자체가 없다고 주장하며, 둘을 합친 것이 더 흥미로운 대상이다: 같은 옵티마이저가 11 일 사이 서로 무관한 연구에서 두 번, 한 번은 그 비용 때문에 또 한 번은 그것이 보존하는 것 때문에 추천되었다. 읽은 자료 안에서 어느 쪽도 다른 쪽을 인용하지 않는다.

functional sparsity 발견은 이 비교보다 오래 살아남을 가능성이 가장 큰 부분이다. 그것은 표준 진단 — 가중치가 얼마나 멀리 움직였는지를 재는 것 — 이 함수가 얼마나 바뀌었는지에 대해 아무것도 말해 주지 않는다고 말한다. 파라미터 이동에서 추론하는 이 위키의 모든 결과, 그리고 사후 학습 실행이 "기저 모델을 크게 바꾸지 않았다"는 모든 주장은, 이것이 성립한다면 엉뚱한 것을 재고 있는 셈이다.

열린 질문

  • 무엇에 대해서인가? 읽은 자료 어디에도 벤치마크, 모델 계열, 규모가 나오지 않는다. Pass@1/Pass@K 비교는 K, 과제, 샘플링 온도에 의해 전적으로 결정되는데 그중 무엇도 명시되지 않는다.
  • "더 높은 Pass@K" 는 얼마나 높은가? 크기 없는 방향은 ES 가 집단에 쓰는 연산량과 견줄 수 없다.
  • sequential GRPO-ES 전략이 고정 예산에서 둘 각각을 이기는가? 사후 학습을 두 단계 돌리는 것은 한 단계보다 비싸며, 읽은 자료 어디에도 그 비교가 예산을 맞춘 것이라는 언급이 없다.
  • 여기서 entropy collapse 는 주장된 것인가, 측정된 것인가? 그것은 policy-gradient 사후 학습에서 알려져 보고된 거동인데, 이 논문이 통제된 조건에서 재현한 것인지 인용한 것인지는 초록으로 판별할 수 없다.
  • functional sparsity 는 전이 질문에서도 살아남는가? Agentic Reinforcement Learning 은 on-policy distillation 의 도달 범위가 teacher 와 student 의 origin relationship 으로 정해진다는 2026-08-25 연구를 기록하고 있다. 역량이 어디에 있는지에 대한 희소 업데이트 설명은 그것과 맞닿아야 마땅한데, 읽은 자료 어디에도 둘을 잇는 대목이 없다.

인용

Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO. arXiv:2608.27351, 2026. https://arxiv.org/abs/2608.27351 (저자 목록은 이번 실행에서 확보 불가 — 저자와 소속 참조).

관련

Referenced by

에이전틱 강화학습사후 학습 스케일링

Sources