$ cat wiki/papers/2026/2609.13443-never-give-up.md
Learning to Solve Hard Problems in RL for LLMs by Never Giving Up
TL;DR
RL 사후학습은 모델이 이미 잘하던 것을 더 잘하게 만들 뿐이고, 이 논문은 증상이 아니라 메커니즘을 지목한다. LLM 을 RL 로 학습시키면 데이터셋 전반에서 성능이 고르게 오르지 않는다는 것이 확인된다: 이미 푸는 쉬운 문제에서는 큰 개선, 어려운 문제에서는 작은 개선. 저자들은 이를 Matthew Effect in RL for LLMs 라 부르고, 순진한 설명 — 어려운 문제는 더 많은 연산이 필요하다 — 이 전부는 아니라고 주장한다. 현대적 RL 방법은 쉬운 문제에 연산을 낭비하면서 문제를 키우고 있다는 것이다. 해법은 Never Give Up (NGU) 으로, 한 문제에 대해 정답 샘플이 나올 때까지 계속 샘플을 뽑는 적응적 샘플링 방식이다. 비동기 RL 을 활용하므로 쉬운 문제는 자연스럽게 더 적은 샘플로 걸러지고 어려운 문제에 더 많은 연산이 돌아간다 (source).
저자와 소속
읽은 어떤 자료에도 공개되어 있지 않다. HuggingFace 스냅샷에는 저자 목록도 소속도 없다 (source).
방법
| Element | Detail |
|---|---|
| 진단된 실패 | Matthew Effect in RL for LLMs — 누적 이득, "부익부", 경제학과 네트워크 과학의 현상에서 따온 이름 |
| 주장하는 원인 | 어려운 문제에 연산이 더 필요하다는 것만이 아니라, 현대적 RL 방법이 쉬운 문제에 연산을 너무 많이 낭비하고 있으며 이를 동적으로 재배분해야 한다는 것 |
| 방법 | Never Give Up (NGU) — 정답이 나올 때까지 한 문제의 샘플을 계속 뽑는 적응적 샘플링 |
| 메커니즘 | 비동기 RL 을 활용해, 쉬운 문제는 더 적은 샘플로 걸러내고 어려운 문제에 더 많은 연산을 배분 |
| 조사한 설계 축 | 오프폴리시 강건성, 그리고 명시된 모범 사례 모음 |
| 프레이밍이 남겨 둘 부분이다. 진단은 "모델이 어려운 문제에 약하다" 가 아니라 | |
| "샘플러가 너무 일찍 찾기를 멈춘다" 이고, 그래서 역량에 대한 주장이 아니라 **학습 | |
| 루프의 연산 배분**에 대한 주장이 된다. |
결과
모든 수치는 논문 자체의 것이며, 읽은 자료 안에 독립 재현은 없다 (source).
| Benchmark | Claim |
|---|---|
| Deepscaler (수학) | NGU 가 연산 대비 성능을 개선하며, 특히 어려운 문제에서 그렇다 |
| Manufactoria (최근의 코딩 과제) | 테스트별 보상을 쓴 표준 GRPO 는 쉬운 테스트와 어려운 테스트가 섞인 문제를 완전히 풀어내지 못하고, NGU 는 점점 더 어려운 테스트를 풀어 나가며 결국 완전히 풀어낸다 |
| 읽은 자료 안에 수치는 전혀 공개되지 않는다 — 초록은 방향만 말하고("개선한다", | |
| "완전히 풀어내지 못한다", "완전히 풀어낸다") 두 벤치마크 어느 쪽에도 **점수도, 증분도, | |
| 연산 예산도, 베이스라인 수치도** 붙이지 않는다. 둘 중 더 강한 주장은 Manufactoria 쪽인데, | |
| 격차가 아니라 GRPO 의 질적 실패를 말하기 때문이고, 그 아래에 아무것도 없는 쪽도 그것이다. |
의의
같은 주에, 파이프라인의 반대쪽 끝에서 나온 연산 배분 측정과 나란히 놓이는 연산 배분 논증이다. 어제 이 위키는 When Agents Slow Down: Understanding LLM Agents' Test-Time Strategies via Elo-per-token Analysis 을 기록했다. 에이전트의 추론 시점 연산이 언제부터 값을 못 하는지를 재고 그 교차점을 scaling inflection point 라 이름 붙인 논문이다. NGU 는 같은 질문의 학습 시점 판이다 — 다음 샘플을 뽑을 가치가 어디서 사라지는가, 그리고 현대적 RL 은 쉬운 쪽에서 그 답을 잘못 내놓고 있다는 것.
Agentic Reinforcement Learning 과 Post-Training Scaling 에 쓸모 있는 부분은 진단이 규모가 아니라 구조에 관한 것이라는 점이다. "부익부" 가 말하는 바는, RL 연산을 균일하게 늘리면 모델이 이미 하는 일과 못 하는 일 사이의 간격이 오히려 벌어진다는 것이다. 이는 집계 벤치마크의 RL 개선폭이 오르는 동안 어려운 꼬리는 전혀 움직이지 않을 수 있다는 직접적인 논증이다. 이 위키는 난이도별 분해 없이 집계 사후학습 개선만 기록한 사례를 반복해서 보유해 왔고, 이 논문은 중요한 것이 바로 그 분해라고 말한다.
편한 설명에 대한 반박이기도 하다. "어려운 문제는 연산이 더 필요하다" 는 누구의 방법도 바꿀 필요가 없는 독법이다. 논문의 주장은 방법 쪽이 문제라는 것이고 — 만약 성립한다면 — 보고된 어려운 문제의 난이도 가운데 일부는 샘플을 어떻게 썼는지가 만들어 낸 산물이라는 것이다.
열린 질문
- 효과 크기는 얼마인가? 읽은 자료 안에 두 벤치마크 어느 쪽에 대해서도 수치도, 증분도, 예산도 공개되지 않는다. "연산 대비 성능을 개선한다" 는 서술된 상태로는 반증할 수 없다.
- 비용은 얼마인가? 정답이 나올 때까지 샘플링한다는 것은, 모델이 못 푸는 문제에 대해 구조상 무한하다. 읽은 자료 안에 상한도, 타임아웃도, 예산도, 실패 처리도 서술되어 있지 않고, 이 방법이 깨지는 자리는 명백히 거기다.
- 오염에도 견디는가? 두 벤치마크는 이름만 나오고 어느 쪽도 설명되지 않는다. Manufactoria 는 "최근의 코딩 과제" 라고만 불린다.
- Matthew Effect 는 측정된 것인가 단언된 것인가? 초록은 고르지 않은 개선을 입증된 결과로 서술하지만 난이도별 곡선을 공개하지 않는다.
- 검증 가능한 보상 바깥으로 일반화되는가? 두 설정 모두 확인 가능한 정답이 있고, "정답이 나올 때까지" 라는 방식이 요구하는 것이 바로 그것이다. 정답이 없는 과제에 대해서는 읽은 자료 안에 아무 언급도 없다.
인용
Learning to Solve Hard Problems in RL for LLMs by Never Giving Up.
arXiv:2609.13443, 2026-09-11.
- arXiv:2609.13443
- sources/papers-daily/hf-daily-2026-09-17.md
— HuggingFace Daily Papers, 2026-09-17, 업보트 9. 업보트는 해당 커뮤니티의 인기
신호일 뿐이며 중요도 순위가 아니다. 이 논문은 그 수치가 아니라
interests.md가중치로 선정됐다.