2026-09-01

LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering — arXiv:2608.28281 — 점수 1.00

• TL;DR: 코딩 에이전트가 긴 과제에 실패했을 때, 그것을 몰고 가는 루프가 잘못 안내한 것인지 에이전트가 잘못 수행한 것인지 알려주는 것이 없다. LoopArena는 코딩 에이전트(Worker)를 고정하고 그것에 지시하는 모델(Controller)을 평가하며, 자신이 측정하는 관행에 이름을 붙인다 — Loop Engineering, 프롬프트를 하나씩 쓰는 대신 진행을 감시하고 작업을 배정하고 검사를 돌리고 다음을 결정하는 루프를 설계하는 것.
• 전체 과제에서 관측된 최고 Strict Success Rate: 24.69%. 평균 짝지은 추론 비용 절감: 64.4%. 저렴한 설정이 비싼 설정의 순서를 Spearman's ρ = 0.9747로 재현한다 — 순위 주장이며, 저렴한 점수를 전체 과제 점수로 인용하는 것을 허락하지 않는다.
• 읽을 이유: Eval Harness Configuration이 이 위키에 존재하는 이유는 벤더가 어떤 스캐폴드가 냈는지 밝히지 않고 에이전트 수치를 공개하기 때문이다. 그 페이지의 모든 항목은 하네스를 공개해야 할 성가신 변수로 다룬다. 이것은 그것을 뒤집어 하네스의 제어자를 시험 대상 역량으로 만들며, 여기서 그렇게 한 첫 벤치마크다.
• 이것을 깎아내리는 공백: 초록 어디에도 모델 이름이 없다 — 최고 Controller도, 고정된 Worker도. 두 시스템을 분리하려고 만든 벤치마크가 어느 쪽도 특정하지 않은 채 공개되면 릴리스를 가로질러 추적할 수 없다.
• → LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering

ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL — arXiv:2608.28476 — 점수 0.90

• TL;DR: 장기 지평 에이전트는 작업 컨텍스트를 끝없이 불려간다. 선행 연구는 모델이 검색·삭제·요약 도구로 자신의 컨텍스트를 편집하게 했는데, ContextPilot은 계획, 장기 메모리, 소프트 오프로딩을 더하고 — 그 다음 궤적 수준 보상을, 컨텍스트·엔트로피 변화로 표시된 결정 지점에서 분기해 추정한 개별 컨텍스트 편집의 행동 수준 어드밴티지로 대체한다.
• 긴 컨텍스트 QA와 심층 검색에서 더 강하고 동시에 더 압축된 것으로 보고된다. Tencent에서 나왔고, 코드는 공개되었다.
• 읽을 이유: 크레딧 할당 논거는 컨텍스트 관리를 훨씬 넘어 일반화되며, 이번 달 그것을 제기한 세 번째 결과다 — SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation (arXiv:2608.21500)와 OPDVR은 토큰 수준 증류로, ContextPilot은 분기로 그곳에 도달한다. 어제의 WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution과 나란히 놓으면 둘은 한 문제를 다른 층위에서 답한다: 흩어진 정보를 지속되는 외부 산출물로 적어두거나, 진행 중에 무엇을 버릴지 배우거나. 하루 간격인데 어느 쪽도 서로를 인용하지 않는다.
• 위의 모든 것을 제한하는 단서: 초록은 벤치마크도, 모델도, 베이스라인도, 수치도 대지 않는다. 방향뿐이다.
• → ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL

J-Zero: Unified Challenger–Solver–Judge Co-Evolution from Zero Data — arXiv:2608.26582 — 점수 0.84

• TL;DR: 자기 진화 모델은 자동 검증기가 답을 채점할 수 있는 곳에서 진전했고 그럴 수 없는 곳에서는 훨씬 덜 나아갔다. J-Zero는 Challenger, Solver, Judge를 함께 진화시키고, Judge의 선호 레이블을 자신의 점수가 아니라 각 응답이 어떻게 생성되었는가에서 가져온다 — Challenger의 답보다 Solver의 답, 일회성 답보다 분해 후 재결합한 답. 검증 가능 +4.2점 · 검증 불가능 +8.0점, 베이스라인이 두 번째 반복 뒤 퇴화하는 데 반해 열 번째 반복에도 여전히 개선 중이다.
• 읽을 이유: 이 위키가 사흘 전 그은 선 위에 내려앉는다. AI Alignment은 Anthropic이 8월에 양쪽 절반을 모두 공개한 것을 보유한다 — "수정이 통했는지를 판정하는 것은 오류를 범하는 인간이 아니라 객관적 벤치마크"인 곳에서 자동화된 연구자가 28명의 숙련 연구자를 이겼고, TASTE에서는 인간 일치도 **77%**에 대해 60%, 두 프런티어 모델은 우연 수준이었다. J-Zero는 그 한 쌍이 가장 어렵다고 말한 쪽에서 더 큰 이득을 보고하며, 그 방향을 미는 여기 첫 데이터포인트다.
• 반박이 아니며 페이지도 그렇게 부르지 않는다: TASTE는 고정된 모델이 판정하는 것을 재고, J-Zero는 판정자를 학습시킨다.
• 답 없는 질문이 핵심을 떠받친다: Judge가 개선되는 시스템의 일부라면 "검증 불가능" 평가를 무엇인가 다른 것이 채점했어야 하는데 — 읽은 자료 어디에도 그것이 무엇인지 없다. 벤치마크도, 베이스 모델도, 베이스라인도 이름이 없다.
• → J-Zero: Unified Challenger–Solver–Judge Co-Evolution from Zero Data

• Tier-1 소스가 오늘 발행했고 이 실행은 한 글자도 읽지 못했다. Import AI 471(Jack Clark, 2026-08-31)이 프리페치 후보로 도착했으나 jack-clark.net과 importai.substack.com 모두 EGRESS_BLOCKED로 응답하고, 그것을 대상으로 돌린 두 번의 검색은 이 위키가 이미 상세히 보유한 OpenAI–Hugging Face 사건과 Clark의 논평을 뒤섞은 뒤죽박죽인 요약을 반환했다. 그것으로부터 쓰지 않았다. 본문을 읽을 수 없는 뉴스레터는 그 요약으로부터 쓸 면허가 아니며 — 이 소스야말로 sources.yaml이 등재되고 17번 인용되었으나 2026-08-02에 RSS 미러가 추가되기 전까지 한 건도 전달하지 못한 것으로 기록한 바로 그 소스다
• 2608.27370 Puro-2B는 이 브리프가 물린 가장 강한 논문이며, 그 이유는 아직 여기 연결되는 것이 없기 때문이다: 완전한 공개 사전학습 레시피 — 1.4조 토큰, FP8, 소비자용 RTX 5090 GPU, 최고 모델의 연산 비용 $6.9K 미만, 데이터·코드·가중치에 Apache 2.0 — 그리고 Qwen2-1.5B 동급을 $4.4K 부근에 놓는 적합된 Puro Cost Scaling Law. 오픈소스와 로컬 추론은 여기서 1.0의 가중치다. 학습 비용 하한에 관한 두 번째 결과가 도착하면 이것은 페이지가 된다
• Anthropic Alignment Science 상시 점검이 4일 연속으로 실행되지 못했다. alignment.anthropic.com이 EGRESS_BLOCKED로 응답해 인덱스를 전혀 읽지 못했다. Introspection Adapters(2026년 4월)와 The Hot Mess of AI(2026년 2월)는 여전히 미포착이며 21일째다. 해소가 아니라 이번 실행에서 읽지 못함으로 기록한다
• 2608.24777 StepGuard가 논문 픽에서 가장 아깝게 밀렸다: 도구 호출을 실행 전에 감사하는 단계 수준 가드로, AgentDojo와 AgentDyn에서 평균 공격 성공률 77.3% 감소를 유용성 2.8퍼센트포인트 비용으로 얻었고, 오픈 웨이트 가드 모델 중 최고 평균 정확도를 보고한다. SecOPD: Mitigating Adaptive Prompt Injections by On-Policy Distillation (arXiv:2608.21500)가 이미 이번 달의 프롬프트 인젝션 결과를 싣고 있어 보류했다. Agents (LLM Agents)의 그 무리가 다시 커지는 순간의 후보다

오늘은 새 엔티티나 개념 페이지가 없으므로 사용자 검토가 필요한 항목이 없다.

• LoopArena: Benchmarking Models as Runtime Controllers for Loop Engineering (신규 — 논문 페이지)
• ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL (신규 — 논문 페이지)
• J-Zero: Unified Challenger–Solver–Judge Co-Evolution from Zero Data (신규 — 논문 페이지)

• OpenAI: OpenAI가 공개한 첫 광고 매출 수치, 티어 정책, 그리고 조정하지 않고 미해결로 남긴 두 양
• Anthropic: CCTV 계열의 전제 조건을 부처 입장이 아니라 논평으로 표시하고, 채택하지 않은 핑거프린팅 주장을 채택하지 않았다고 명시
• AI Governance: 새 절 둘 — 이름이 특정된 랩의 행위가 양자 협상 카드가 된 것, 그리고 이 페이지가 이미 추적 중인 AI Act 의무가 적용되는 관할로 소비자 규모 광고 제품이 진입한 것
• Eval Harness Configuration: 하네스가 성가신 변수이기를 그치고 시험 대상이 된다
• Agents (LLM Agents): 루프 제어자 반전, 그리고 학습된 정책으로서의 컨텍스트 관리
• Agentic Reinforcement Learning: J-Zero와 ContextPilot을 주요 논문에 추가, 후자는 SecOPD와 같은 크레딧 할당 불만을 제기하는 두 번째 사례
• AI Alignment: AAR/TASTE 경계의 검증 불가능한 쪽에서 진전을 주장하는 여기 첫 결과
• Tencent: 생성 산출물 네 항목 뒤, 이 랩의 에이전트·평가 연구가 여기 처음 기록된다