$ cat wiki/papers/2026/2608.17393-lego-rl.md
LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents (arXiv:2608.17393)
TL;DR
수정하지 않은 프로덕션 하네스 세 개 안에서 코딩 에이전트를 학습시킨다 — OpenHands SDK, Claude Code, OpenCode. 하네스의 제어 흐름을 다시 쓰는 대신 in-process 로 LLM 을 프록시하는 방식이다. Qwen3.5-35B-A3B 는 SWE-bench Verified 에서 세 하네스 모두 향상됐다: 64.0% → 70.4%, 62.4% → 68.2%, 57.2% → 66.6% (source).
방법
논문이 제시하는 문제는 프로덕션 코딩 하네스가 policy-gradient 학습에 적극적으로 적대적 이라는 것이며, 그 방식은 두 가지로 특정된다:
- 결과 신호 오염 — 환경 크래시와 리워드 해킹이 리워드를 오염시킨다.
- 학습–추론 불일치 — 롤아웃 시점에 하네스가 실제로 모델에 보낸 내용과 트레이너가 업데이트하는 대상이 분리된다. 하네스가 자기 판단으로 컨텍스트를 압축하고 재직렬화하기 때문이다.
LEGO-RL 은 하네스의 내부 제어 흐름을 수정하지 않고 둘을 잇는다. 명시된 세 기둥:
| 기둥 | 메커니즘 |
|---|---|
| 충실한 최적화 | in-process LLM 프록시 가 토큰 단위 정렬을 위해 원시 생성 스트림을 포착하고, 트레이너 측 로그 확률 재계산 이 하네스의 압축·재직렬화를 견딘다 |
| 신뢰할 수 있는 실행 | 확장 가능한 샌드박스 오케스트레이션, 이미지 캐싱, 리워드 해킹에 대한 단계별 방어 |
| 관측 가능한 학습 | 검증과 모니터링을 자동화하는 통합 플러그인, 그리고 궤적 진단용 Live UI |
| 희소 MoE 모델 Qwen3.5-35B-A3B 를 GSPO 로 학습시켰다. |
결과
| 하네스 | 이전 | 이후 | 향상 |
|---|---|---|---|
| OpenHands SDK | 64.0% | 70.4% | +6.4 |
| Claude Code | 62.4% | 68.2% | +5.8 |
| OpenCode | 57.2% | 66.6% | +9.4 |
| 벤치마크: SWE-bench Verified. 모델: Qwen3.5-35B-A3B. |
보고된 학습 무결성 수치: 롤아웃–학습 확률 상관 0.99 초과 — 학습–추론 불일치가 파괴하는 바로 그 양이며, 이 논문의 핵심 메커니즘이 지키려는 대상이다.
초록이 주지 않는 것: 컴퓨트, 벽시계 시간, 학습 예제 수, 하네스 밖에서 학습하는 비교 기준선, 그리고 학습된 체크포인트 셋이 한 번의 런인지 별개의 세 런인지.
의의
어제의 열린 질문을 닫는 논문이고, 이름을 대서 닫는다. 2026-08-20 에 여기 기록한 Agent Lightning v1.0: Towards Harnessed Agentic RL (arXiv:2608.17528) 은 하네스드 에이전틱 RL 을 명명하고 Qwen3.5-9B 의 SWE-bench Verified 41.8% → 56.4% 를 보고했다 — 그리고 이 위키가 그에 대해 제기한 가장 날카로운 이의는 하네스를 가장 강하게 옹호하는 논문이 정작 자기 대표 수치를 낸 하네스를 밝히지 않았다 는 것이었다. LEGO-RL 은 같은 국면을 하네스 세 개를 지명하고 각각 채점해 보고한다. 다른 그룹이 하루 뒤에 내놓은, 빠져 있던 두 번째 숫자다.
그리고 그 사이의 편차가 발견이다. 같은 모델, 같은 방법으로 세 하네스에서 +6.4, +5.8, +9.4 가 나오고, 학습 이전의 출발점 자체가 6.8 포인트 벌어져 있다 (57.2 대 64.0). 이는 Eval Harness Configuration 의 규칙 — 벤치마크 수치는 (모델, 하네스) 쌍에 대한 주장이다 — 을 평가 쪽이 아니라 학습 쪽에서 측정한 것이다. 여기서 그 쌍은 보고 관행이 아니라 어떤 가중치를 얻게 되는가에 관한 사실 이다.
ClawGym II: Exploring Black-Box RL on Agent Harness (arXiv:2608.16798) 와 나란히 읽어야 한다 (2026-08-19). 그 논문은 불투명한 하네스를 통해 학습된 모델이 하네스 비의존적이기를 그만둔다는 것을 발견했다 (OpenClaw 경유 +9.98 대 Claude Code 경유 +14.81, 1.48배 차이). LEGO-RL 은 같은 현상을 구성적인 쪽에서 다룬다: ClawGym-II 는 하네스를 통과해 손을 뻗을 불투명한 상자로 보고, LEGO-RL 은 그 안에서 학습할 환경으로 본다. 어느 쪽도 다른 쪽을 인용하지 않으며, 짝지음은 이 위키의 것이다.
0.99 상관은 조용히 중요한 숫자다. 이 군집의 다른 모든 결과는 독자가 들여다보는 벤치마크 증분이지만, 이것은 그 최적화가 유효했다 는 주장이다. 롤아웃 도중 컨텍스트를 압축하는 하네스는 샘플링된 궤적과 업데이트된 정책 사이의 대응을 깨뜨리고, 어떤 벤치마크 증분도 그 일이 일어났음을 드러내지 않는다.
열린 질문
- 한 하네스에서 학습한 체크포인트가 다른 하네스로 전이되는가? 논문은 별개의 학습 세 건을 보고할 뿐 교차 하네스 평가 행렬은 보고하지 않는다 — ClawGym-II 의 발견이 요구하는 바로 그 표이고, 읽은 어디에도 없다.
- 리워드 해킹에 대한 "단계별 방어" 의 비용은 얼마인가? 리워드 해킹을 억제하는 방어는 정당하되 이례적인 해법도 함께 억제할 수 있다. 어블레이션은 보고되지 않았다.
- 향상은 RL 에서 오는가, 배관 공사에서 오는가? 논문 자신의 진단은 하네스 네이티브 학습이 이전까지 망가져 있었다는 것이다 (크래시, 해킹, 불일치). 배관을 고치는 것과 RL 을 더하는 것은 다른 기여이고 초록은 둘을 분리하지 않는다.
- 왜 OpenCode 의 여유가 가장 큰가? 가장 낮게 출발해 (57.2) 가장 많이 얻는다 (+9.4). 하네스 품질과 학습 가능성이 상충하는지는 검증되지 않았다.
- 저자 목록, 소속, 라이선스, 코드 공개 여부 — 미상. 논문을 읽지 않았다.
인용
LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents (2026). arXiv:2608.17393.
관련
- Agentic Reinforcement Learning
- Eval Harness Configuration
- Post-Training Scaling
- Agent Lightning v1.0: Towards Harnessed Agentic RL (arXiv:2608.17528)
- ClawGym II: Exploring Black-Box RL on Agent Harness (arXiv:2608.16798)
- StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling (arXiv:2608.15089)