2026-09-05

세 논문이 1.75 로 동점이고 한 묶음으로 싣는다. 발견이 곧 이 셋이 하나의 대상을 분할한다는 것이기 때문이다. Eval Harness Configuration 는 벤치마크 숫자가 (모델, 하네스) 쌍에 대한 주장이라고 논한다. 이 스냅샷에는 환경을 확장하는 논문 하나, 가중치와 하네스를 함께 최적화하는 논문 하나, 프롬프트도 그 쌍의 일부임을 보이는 논문 하나가 있다. 셋 중 어느 것도 서로를 인용하지 않는다.

WHALE: A Simple Recipe for Joint Harness-Weight Optimization — arXiv:2609.00196

• TL;DR: 현재 하네스 아래에서의 가중치 갱신과 갱신된 가중치 아래에서의 하네스 탐색을 번갈아 돌린다. Qwen3.5-2B/4B 로 search QA, math, chess puzzles 세 도메인에서 weight-only, harness-only, Fast-Slow Training 대비 best mean@8 +4.15 ~ +24.38 pp (source)
• 결과는 헤드라인이 아니라 그 폭이다: SearchQA 에서는 하네스 탐색이 훨씬 적은 rollout 으로 weight-only 최고 정확도에 도달하지만, math 에서는 가중치 갱신 이후에만 정확도가 오른다. 어느 쪽이든 병목이 될 수 있고, 어느 쪽인지는 도메인에 따라 바뀐다
• 읽어야 할 이유: 이번 주 하네스 논문 셋이 함축했지만 아무도 수행하지 않은 통제된 비교를 실제로 돌리고, Agentic Reinforcement Learning 의 상존하는 질문 — agentic RL 이 다시 쓴 하네스가 살 수 없는 무언가를 사는가 — 에 "때에 따라, 도메인에 달렸다" 로 답한다. 양쪽 진영이 주장해 온 것보다 약한 답이다
• → WHALE: A Simple Recipe for Joint Harness-Weight Optimization

Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments — arXiv:2609.04148

• TL;DR: 에이전트 궤적에 기록된 파일 연산을 재생해 각 파일을 수정 전 상태로 되돌리고, 완성 에이전트가 빠진 것을 채워 재사용 가능한 실행 환경을 복원한다. 그다음 breadth(여러 코드베이스에 걸친 cross-workspace 질의)와 depth(사용자 에이전트가 구동하는 다중 라운드 세션)로 확장한다 (source)
• 기여는 그 틀 잡기에 있다: 궤적은 한 번 얼어붙은 시연 하나지만, 환경은 검증 가능한 여러 작업으로 다시 질의할 수 있고 실행 피드백을 돌려준다 — 그리고 궤적은 코드 에이전트를 돌리는 모든 연구소가 이미 대량으로 들고 있는 부산물이다
• 읽어야 할 이유: Post-Training Scaling 은 생성된 환경을 사전학습 이후 스케일링 주장의 한 재료로 이름 붙여 두었으면서 그것을 생산하는 공표된 수단은 한 번도 들고 있지 못했다. 이것이 그 수단 하나다. 초록에 수치가 전혀 없다는 단서와 함께 읽을 것 — 벤치마크도, 베이스라인도, 환경 개수도 없다
• → Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments

RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests — arXiv:2608.27831

• TL;DR: 문제 진술만 담은 요청은 실제 사용자 프롬프트의 88% 인데 벤치마크 문제의 7% 이고, 실제 프롬프트의 87% 가 구어체인 반면 벤치마크 문제의 94% 는 격식체다. 변형들이 작업과 gold patch 를 공유하고 프롬프트만 다른 381 개 작업 계열에서, 현실적 입력은 해결률을 평균 6.4 pp 떨어뜨리고 모델 순위를 바꿀 수 있다 (source)
• 직관적 독해가 바로 논문이 기각하는 독해다: 언어 문체는 작고 모델에 따라 다른 효과만 낸다. 중요한 것은 프롬프트가 어떤 정보를 담느냐이며 — Desired Behavior 와 Motivation 은 성능에 유의하게 영향을 주는 반면, Environment Information 과 Reproduction Steps 는 "측정 가능한 이득 없이 토큰만 늘린다"
• 읽어야 할 이유: 아무도 보고하지 않는 설정 변수를 이 위키의 모든 SWE-bench 수치에 더하고, 중요한 두 범주가 실제 프롬프트가 가장 자주 빠뜨리는 둘이다 — 벤치마크 논증과 무관하게 코딩 에이전트를 쓰는 누구에게나 실행 가능한 조언이다
• → RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests

• on-policy distillation 이 8 일 사이에 세 번째 필수 재료를 잃었고, 이번 것은 데이터다 — Rethinking On-Policy Distillation of Large Language Models II: One Training Example 는 쿼리 하나로 학습해 full-data OPD 이득의 대부분을 회복한다. state coverage 가 쿼리 하나에서 71.5%, 열여섯 개에서 98.9% 인데, 정렬 속도는 어느 쪽이든 똑같이 느려진다. 저자들의 요약은 "data-overfed but algorithm-starved" 다. 1.49 를 받아 논문 픽이 아니라 여기에 실렸다. 1.75 3 자 동점 아래인데, interests.md 가 RL 을 1.3, 에이전트를 1.5 로 매기기 때문이다 — 이 위키의 독해로는 오늘의 가장 뜻밖의 단일 결과라서 기록해 둔다 (source)
• Grok 4.7 이 대략 열흘 앞으로 지목되었고, 함께 나온 파라미터 수치가 열린 상충에 닿는다 — 한 패스는 Elon Musk 가 2026-09-02 X 에서 xAI 의 차기 플래그십이 약 열흘 뒤 대략 2.1조 파라미터로, Grok 4.6 의 1.5T 보다 "40% 크다" 고 말했다고 보도한다. Grok 4.6 는 그 수를 상충으로 안고 있고(발표된 2T 대 출시 보도의 1.5T), 이 서술은 1.5T 쪽을 택한다. 단일 2 차 패스이고 1 차 자료를 읽지 못했으므로 어떤 페이지도 바꾸지 않았다
• 중국 규제 당국이 AI 보안 위험 다섯 범주를 지목했고 그중 셋을 읽었다 — CAC 사이버보안조정국의 Wang Lihong 이 2026-09-01 CCTV 에 밝힌 내용: 내재적 기술 취약성(해석 가능성 부재를 첫째로 지목), 오남용과 악용, 기술 패권. 다섯 중 둘은 읽지 못했고 추측하지 않는다. 2026-09-04 브리프가 관찰 항목에 미독으로 올려 둔 건을 부분적으로 닫는다 (source)

오늘은 새 엔티티·개념·인물 페이지가 없어 오너 검토가 필요한 항목이 없다 — 이 절을 빼는 대신 그렇다고 적어 둔다.

• WeatherNext 3 (신규 — 모델 페이지)
• Rethinking On-Policy Distillation of Large Language Models II: One Training Example (신규 — 논문 페이지)
• Terminal-Universe: Turning Agent Trajectories into Scalable Terminal Environments (신규 — 논문 페이지)
• WHALE: A Simple Recipe for Joint Harness-Weight Optimization (신규 — 논문 페이지)
• RealSWE: A Compositional Evaluation of Coding Agents under Realistic User Requests (신규 — 논문 페이지)

• Safety Monitoring and Data Retention — 비교 표의 Anthropic 열을 EFS 에 맞춰 다시 썼다. 08-20 의 보도된 계획은 지우지 않고 남겼는데, 계획과 발표가 30 일 요건의 존속 여부라는 바로 그 지점에서 갈리기 때문이다. 열린 문제 3 과 4 갱신 — 3 은 답했고 4 는 더 날카로워졌다
• Eval Environment Containment — 일곱 번째 사고. 어느 연구소도 공개하지 않은 첫 사례이고, 침해된 속성이 하나가 탈출한 것이 아니라 인스턴스끼리 조율할 수 있었다는 것인 첫 사례다
• Agentic Reinforcement Learning — 열 번째 OPD 결과, 그리고 페이지 없이 기록한 2609.04094 DRACO: 동적 루브릭을 책임 있는 스텝들에 재분배해 AppWorld 에서 베이스 대비 +15.9, 희소한 ground-truth 보상으로 학습한 GRPO 대비 +5.3 을 검증기 없이 달성
• Eval Harness Configuration — 새 날짜 절: 프롬프트 분포는 설정 변수이며, 보고되지 않고, 모델 순서를 보존하지 않는다
• Post-Training Scaling — 환경 재료가 공표된 생산 수단을 얻었고, WHALE 이 스케일링 주장에 제약을 건다. 사후 학습 역량은 한 입력을 더 넣어 사는 단일 수량이 아니다
• AI Governance — CAC 의 다섯 범주, 그중 셋을 읽음
• Anthropic, OpenAI, Google DeepMind — 각각 최근 활동 한 항목씩
• 인덱스 — 중복된 Astra 항목 제거. 어제 실행이 출하된 모델 줄을 추가하면서 그 아래의 "announced 2026-08-01, not released" 줄을 내리지 않아, 인덱스가 하루 동안 두 상태를 동시에 주장했다