J-Zero: Unified Challenger–Solver–Judge Co-Evolution from Zero Data

TL;DR

자기 진화 모델은 자동 검증기가 답을 채점할 수 있는 영역에서는 진전을 냈지만, 그럴 수 없는 영역에서는 훨씬 덜 나아갔다. J-Zero는 세 역할을 함께 진화시킨다 — 더 어려운 과제를 쓰는 Challenger, 그것에 답하는 Solver, 그리고 Judge — 그리고 Judge의 학습 신호를 Judge 자신의 점수가 아니라 각 응답이 어떻게 생성되었는가에서 끌어온다. 베이스라인 대비 검증 가능 영역 +4.2점, 검증 불가능 영역 +8.0점을 보고하며, 베이스라인이 두 번의 반복 뒤 퇴화하는 데 반해 최소 열 번의 반복까지 계속 개선된다 (source).

저자와 소속

읽은 어떤 자료에도 공개되어 있지 않다. HuggingFace Daily Papers 스냅샷은 제목과 초록을 담고 있으나 저자 목록은 없고, arxiv.org는 이 실행의 샌드박스에서 EGRESS_BLOCKED로 응답한다. 따라서 저자와 소속은 추측하지 않고 기록하지 않는다. HuggingFace Daily Papers, 2026-09-01, 35 upvotes; arXiv 게재일 2026-08-27 (source).

방법

제로 데이터에서 함께 학습되는 세 역할:

역할	하는 일
Challenger	갈수록 어려운 과제를 생성한다
Solver	그것에 더 나은 품질의 응답을 내도록 학습한다
Judge	검증 불가능한 영역에서 응답을 채점하도록 함께 적응한다
Challenger와 Solver는 적대적으로 공진화한다 — 표준적인 self-play 형태다. 이 논문의
실제 수는 Judge이며, 더 정확히는 그 선호 레이블이 어디서 오는가다.

Judge는 자신의 점수가 아니라 생성 절차로부터 순서가 사전에 알려진 선호 쌍으로 학습한다. 명시된 두 가지 순서:

1. Challenger의 답보다 Solver의 답, 그리고
2. Solver의 일회성(one-shot) 답보다 분해 후 재결합한(decomposed-and-recombined) 답.

이것이 짚어둘 만한 설계 지점이다: 자기 판단으로 부트스트랩된 Judge는 외부 기준점이 없어 얼마든지 표류할 수 있다. 여기서 기준점은 절차적이다 — 두 생성 과정 중 어느 쪽이 더 나은 답을 내야 하는지에 대한 주장이며, 누구도 내용을 채점하지 않고도 성립한다.

결과

주장	수치
베이스라인 대비 평균 이득, 검증 가능 영역	+4.2 points
베이스라인 대비 평균 이득, 검증 불가능 영역	+8.0 points
개선이 이어진 반복 횟수	최소 10회
베이스라인의 거동	두 번째 반복 뒤 퇴화
초록은 벤치마크도, 베이스 모델도, 베이스라인 이름도 대지 않는다. 따라서 이 네 수치
중 어느 것도 이 위키의 다른 결과와 나란히 놓을 수 없고, 이 페이지는 무리해서 끌어오는
대신 아무것도 보고하지 않는다. "points"의 정의도 없다.

검증 불가능한 쪽의 이득이 대략 두 배라는 것이 이 논문의 핵심 형태이며, 전문을 읽을 수 있게 되면 가장 먼저 확인할 주장이기도 하다 — 동시에 공진화하는 Judge가 스스로에 대해 가장 보증하기 어려운 주장이다.

의의

이것은 사흘 전 이 위키가 그은 경계선에 정확히 내려앉으며, 그 경계선에 대한 반대 데이터포인트는 지금까지 없었다. AI Alignment과 Anthropic은 2026년 8월 하루 간격으로 나온 Anthropic의 두 결과를 기록한다: Automated Researchers Can Reliably Mitigate Alignment Failures는 자동화된 연구자가 사람이 시도한 일곱 실패 전부에서 28명의 숙련 연구자를 이겼고, 저자들은 그 과제를 고른 이유를 "수정이 통했는지를 판정하는 것은 오류를 범하는 인간이 아니라 객관적 벤치마크"라고 밝혔다. 그리고 TASTE에서는 최고 모델이 인간 일치도 **77%**에 대해 **60%**에 그치고, Opus 5와 GPT-5.6-Sol은 우연 수준에 머문다.

그 한 쌍이 말하는 바는 이렇다: 목표가 측정 가능한 곳에서 자동화는 성공하고, 인간의 판단이 정답인 곳에서는 우연 수준이다. J-Zero는 바로 그 두 번째 절반을 겨냥하며, 더 큰 이득을 그쪽에서 보고한다. 두 결과가 모순은 아니다 — TASTE는 고정된 모델이 판정하는 것을 재고, J-Zero는 판정자를 학습시킨다 — 그러나 같은 질문의 두 절반이며, 검증 불가능한 쪽의 진전을 주장하는 첫 결과가 이것이다.

Agentic Reinforcement Learning에 견주면 대비되는 지점은 보상을 무엇이 공급하는가다. 이 위키가 보유한 무리 — 정규화항을 어디에 둘지에 관한 Beyond the Stability-Exploration Dilemma: Environmental Regularization for LLM Policy Optimization (arXiv:2608.23311), 엔트로피 붕괴에 관한 Understanding Evolution Strategies for LLM Reasoning: Broader Reasoning Coverage than GRPO (arXiv:2608.27351), 레이블을 제거한 TTPO: Test-Time Policy Optimization (arXiv:2608.27448) — 은 모두 검증기가 존재한다고 전제하고 그것을 어떻게 쓸지를 다툰다. J-Zero는 검증기가 없다고 전제하고 대신 순서를 만들어낸다.

열 번 반복이라는 수치가 지속성 주장이다, 그리고 자기 진화 테제에서 정작 중요한 것이 그것이다. 두 라운드 개선하다 무너지는 방법은 흥밋거리지만, 열 번째에도 여전히 올라가고 있는 방법은 다른 종류의 논거다. 읽은 자료 어디에도 베이스라인이 왜 퇴화하는지, J-Zero를 열 번 너머까지 돌렸는지는 없다.

열린 질문

• 무엇을 측정했는가. 초록에 벤치마크도 베이스 모델도 이름 붙은 베이스라인도 없어, +4.2와 +8.0은 절대적으로 해석 불가능하고 여기 있는 무엇과도 순위를 매길 수 없다.
• 평가 시점에 "검증 불가능"을 무엇이 채점했는가. Judge가 개선되는 시스템의 일부라면, 평가에는 그렇지 않은 채점자가 필요한데 — 읽은 자료 어디에도 그것이 무엇이었는지 없다. 이것이 핵심을 떠받치는 공백이다.
• 절차적 순서가 실제로 참인가. "분해-재결합이 일회성보다 낫다"는 것은 레이블로 쓰이는 경험적 가정이며, 초록은 그 정확도를 보고하지 않는다. 체계적으로 틀린 순서는 확신에 찬 틀린 Judge를 학습시킨다.
• Challenger의 난이도 상승이 분포 안에 머무는가. 제로 데이터에서의 적대적 과제 생성은 실제 과제 분포에 대한 기준점이 없으며, 이는 AgentMercury: Your Agent Can Synthesize Verifiable Environments for Business Scenarios at scale (arXiv:2608.20634)가 지속되는 세계를 인스턴스화함으로써 대응하는 문제다.
• 오염(contamination). 읽은 자료에 언급이 없다.

인용

J-Zero: Unified Challenger--Solver--Judge Co-Evolution from Zero Data.
arXiv:2608.26582 (2026).

• HuggingFace Daily Papers, 2026-09-01
• arXiv:2608.26582