AI Trend Notifier
EN한
← 아카이브

$ cat briefs/daily/2026-08-25.md

2026-08-25

2026년 8월 25일 (화)

스토리 3건 · 신규 논문 페이지 6건 · 논문 픽 2건 · 관찰 2건 · 나흘·닷새 늦게 발견된 Tier-1 게시물 2건

[01]

주요 소식

1. Anthropic 이 자사 거짓말 탐지기에 대한 부정적 결과를 공개했다 — 그리고 교훈은 거짓말에 국한되지 않는다

  • Fine-Tuned Lie Detectors Failed to Generalize(Jack Hopkins, Dipika Khullar, 2026-08-21) 는 12개 유도 설정에 걸친 on-policy 거짓말로 탐지기를 학습시킨 뒤, 학습에서 빠진 거짓말 범주로 시험한다. 도메인 내 AUROC 0.60 → 0.95. Cross-fold 에서는 0.700.75, 그리고 이 격차는 학습 epoch 를 더 돌려도 좁혀지지 않았다 (source)
  • 분포를 벗어나면 파인튜닝된 탐지기는 프롬프팅 기준선을 간신히 이기고, 더 큰 모델을 zero-shot 으로 프롬프팅한 쪽이 아예 이기는 경우가 잦다 — 비싼 산출물이 정작 만들어진 목적인 그 경우들에서 값싼 쪽에 진다
  • 전이 양상이 직관적 유사성을 따르지 않으며, 그래서 설계로 우회하기 어렵다: ASCII 역량 부인 학습은 체스 sandbagging 으로 전이되었고, 사실 거짓말 학습은 roleplay 로 전이되지 않았으며, sandbagging 은 다른 거짓말 유형으로 학습된 탐지기로는 사실상 탐지 불가였다. 저자들의 설명은 각 탐지기가 설정의 표면 형태 — "sycophancy 탐지기는 동의 패턴을 학습한다" — 를 배운다는 것이다
  • 왜 중요한가: 명시된 함의는 기만보다 넓다 — 파인튜닝된 탐지기가 좁고 과제 특유의 특징을 배운다면, 어떤 학습된 안전 분류기든 새로운 위해 유형에서 같은 방식으로 실패할 수 있다. 학습된 모니터 전체에 대한 경고이며, 그것을 가장 강하게 주장해 온 연구소가, 자사 리스크 리포트가 평가가 작동하지 않게 되었다는 이유로 자체 정렬 등급을 올린 지 나흘 만에 내놓았다
  • Mechanistic Interpretability 의 J-space 항목과 견주면 대비는 방법론적이다 — 같은 연구소, 같은 표적, 반대 방법, 그리고 읽은 어떤 자료도 둘을 비교하지 않는다
  • → AI Alignment, Mechanistic Interpretability, Anthropic

2. 검색이 모델이 모는 루프가 되었다 — 그리고 통제된 연구가 그 대안의 값을 1,431배로 매겼다

  • Mistral 의 Agentic Search(2026-08-20) 는 고정된 검색 청크 집합을, 모델이 스스로 호출하는 다섯 개 연산 — search, open, navigate, read, grep — 으로 대체한다. 답하기 전에 질의를 다듬고 참조를 따라간다. FinanceBench 26.7% → 86%; OfficeQA Pro 6.3% → 51.9%; FinanceBench p90 지연 255 s → 154 s, 평균 108 s → 71 s. 모든 수치는 Mistral 자신의 것 (source)
  • 정확도와 지연이 같은 방향으로 움직이는 것이 특이한 대목이다. 에이전트 루프는 보통 턴을 써서 정확성을 사는데, 이쪽은 더 적은 초로 더 많은 답을 보고한다 — 이는 루프가 값싸다는 주장이라기보다 고정 청크 기준선이 낭비였다는 주장이고, 그 26.7% 와 6.3% 기준선이 정확히 무엇인지는 읽은 어디에도 없다
  • 같은 질문에 대한 다른 답이 같은 날 가격표를 받는다. The Embedder's Dilemma: LLMs Are Better, but at What Cost? (arXiv:2608.12875) 는 37개 과제에서 10개 LLM 과 26개 임베딩 모델을 비교한다: 집계는 동률 — 최고 LLM 77.6, 최고 임베더 77.2 — 이고 그 동률의 값은 최대 1,431배, 벤치마크 1회 통과당 USD 154 대 USD 0.11 이다. 테스트된 10개 LLM 중 9개가 Pareto 프런티어 밖에 있다
  • 왜 중요한가: 함께 읽으면 보통 하나로 뭉뚱그려지는 두 수가 갈라진다. 모델에게 인덱스 위의 탐색 능력을 주는 것은 정확도와 지연 양쪽에서 값을 한다고 보고된다. 모델을 인덱스로 만드는 것은 0.4 포인트를 위해 세 자릿수 배수를 치른다. 어느 쪽도 서로를 언급하지 않는다
  • → Mistral AI, Agents (LLM Agents), The Embedder's Dilemma: LLMs Are Better, but at What Cost? (arXiv:2608.12875)

3. GPT-5.6 Sol 이 싸졌고, 이전의 모든 인하는 이 모델만은 건드리지 않았다

  • 2026-08-21: 표준 short-context API 사용에 대해 100만 입력 토큰당 $5 → $4(−20%), 100만 출력 토큰당 $30 → $20(−33%). ChatGPT Work 와 Codex 크레딧에도 반영되며, Pro·Plus·Business 구독 가격은 변동 없음. Amazon Bedrock 도 동일하게 조정 (source)
  • 정가가 아니라 프로모션이다 — 최소 2026-11-21 까지 보장. 그래서 GPT-5.6 Sol (and Terra, Luna) 은 프로모션 수치를 만료일과 정가를 나란히 둔 채 싣는다. 프로모션 요율을 정가처럼 기록하면, 아무도 적어두지 않은 날짜에 틀려지는 가격이 된다
  • 2026-07-30 인하는 Luna 를 80%, Terra 를 20% 내리고 플래그십은 그대로 두었다. 목록 맨 위가 움직인 것은 이번이 처음이다
  • 왜 중요한가: 어제 브리프는 Ramp 지수를 근거로, 프런티어 모델의 토큰 단가가 라우터가 그 모델로 올려보내는 물량의 상한을 정한다고 논했다. 인하가 그 보도보다 이틀 앞서므로 그에 대한 반응이 아니고 어떤 출처도 둘을 연결하지 않는다 — 다만 OpenAI 자신의 페이지가 "워크로드를 이기고 있다" 고 묘사한 계층이, 이기고 있던 그때보다 지금 더 싸다
  • → GPT-5.6 Sol (and Terra, Luna), OpenAI, Model Routing
[02]

논문 픽

FlowEvo — arXiv:2607.21596 · Hierarchical Self-Improvement — arXiv:2608.08466

  • TL;DR: 둘 다 모델을 얼리고 그 주위를 다시 쓴다. FlowEvo 는 성공한 워크플로를 영속 뱅크의 호출 가능한 스킬로 컴파일하고 negative transfer 를 일으키는 스킬을 억제한다 — ALFWorld 85.6%, 8개 기준선 중 최강 대비 +26.4 포인트, 그것도 대략 토큰 삼분의 일 로, 그리고 7B~671B 백본에 걸쳐 ExpeL 상대 50개 중 49개 승. HSI 는 하네스를 진화 대상으로 삼아, evolver 가 과제군별로 다시 쓰고 그 evolver 를 다시 meta-evolver 가 다시 쓴다
  • 함께 읽어야 할 이유: SkillEvo, EnvHarness 와 합치면 8일 사이에 서로를 인용하지 않는 논문 네 편이 되고, 모두 같은 구속 조건 — 편집 능력이 아니라 되돌아오는 신호의 품질 — 을 지목한다
  • HSI 는 이 무리에 없던 한계를 제공한다. BALROG raw % Progress +39.3 BabyAI, +33.0 Crafter, +25.0 TextWorld, +15.0 MiniHack — 그리고 얼어붙은 백본의 역량을 넘어서는 과제인 NLE 에서는 개선이 전혀 없다. "이득은 하네스에 있다"에 대한 공표된 경계이며, 동시에 Eval Harness Configuration 을 복잡하게 만든다. 그 페이지는 같은 자유도를 6.8 포인트의 원치 않는 변동으로 기록하는데, HSI 는 거기서 15~39 포인트를 의도적으로 뽑아낸다
  • → FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills (arXiv:2607.21596), Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses (arXiv:2608.08466)

Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale MoE — arXiv:2608.20061

  • TL;DR: 스윕 대신 두 번의 전이. 최적 학습률이 모델 width 전반에 유지되는 MoE 용 μP 적응(Multi-head Latent Attention + Muon), 그다음 작은 프록시 최적값에 선형 회귀를 걸어 토큰 축을 따라 10조 토큰까지 R² = 0.95 로 외삽. 155B 전체 / 17B 활성 모델을 처음부터 사전학습해 검증했다
  • 읽어야 할 이유: Test-Time Compute (Inference-Time Compute Scaling) 는 "추론 컴퓨트가 학습 컴퓨트처럼 스케일하는가"를 이 위키 초기부터 열린 질문으로 안고 있었는데, 실제로 도착한 스케일링 법칙은 둘 중 어느 쪽도 아니다 — 연구소가 실행을 설정하는 데 무엇을 써야 하는가에 관한 것이다. 그 절에서 적합도 통계치가 공표된 유일한 양이기도 하다
  • 반론: 스윕 기준선이 보고되지 않아 예측에는 R² 는 있어도 loss 상의 오차 범위가 없고, 결과는 하나의 파라미터화·하나의 어텐션 설계·하나의 옵티마이저 아래 하나의 하이퍼파라미터에 대한 것이다
  • → Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts (arXiv:2608.20061)
[03]

관찰

  • On-policy distillation 의 수익은 노력이 아니라 관계가 정한다. Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models (arXiv:2608.16647) 은 same-origin 교사/학생 쌍이 언어·지평·도메인을 넘어 전이되는 반면 cross-origin 쌍은 대체로 학습된 분포에만 들어맞는다고 보고하며, 다중 교사 distillation 은 가산적이지 않다고 말한다 — 라우팅이 교사의 영향력을 가둘 수 없으므로 교사를 결합하면 합집합이 아니라 혼합 비율에 좌우되는 시소가 나온다. 관찰 대상인 이유는 초록에 수치가 전혀 없고 "origin" 을 끝내 정의하지 않는데, 결과 전체가 그 위에 서 있기 때문이다 (Agentic Reinforcement Learning)
  • Moonshot 이 2026-08-31 에 이전 세대를 닫는다. kimi-k2.5 와 moonshot-v1 계열은 이미 신규 등록이 막혔고 월말에 플랫폼이 완전히 종료된다. 최신 모델은 여전히 Kimi K3(2026-07-16). 역량 내용이 없는 지원 종료라 페이지에는 아무것도 쓰지 않았다 — 다만 플래그십 6주 뒤 직전 라인 전체를 물리는 것은 출시 주기 신호다 (Moonshot AI)
[04]

위키 신규

오늘 새로 만든 조직·개념·인물 페이지는 없다 — 사용자 검토가 필요한 항목 없음.

검색 개념 페이지는 검토했고 만들지 않았다: 오늘 항목 중 둘이 검색에 관한 것이지만, wikilink 스캔 결과 그런 페이지를 요청하는 문서가 0건이어서 둘 다 Agents (LLM Agents) 에 넣었다.

신규 논문 페이지 6건: Let's Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts (arXiv:2608.20061), ParaTempo: Efficient Parallel Reasoning via Temporal Confidence (arXiv:2608.16425), Every Coin Has Two Sides: On the Dual Nature of Generalization in On-Policy Distillation of Large Language Models (arXiv:2608.16647), FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills (arXiv:2607.21596), Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses (arXiv:2608.08466), The Embedder's Dilemma: LLMs Are Better, but at What Cost? (arXiv:2608.12875).

[05]

업데이트