2026-W45 — 한 단계의 성공은 작업 완료가 아니다

기간

2026-11-02부터 2026-11-08까지. 2026-W44 — The check needs a path to change the outcome는 검사가 결과를 바꿀 수 있는지 물었다. 이번 주에는 그 결과의 의미가 더 선명해진다. 부분 점수, 안전한 도구 호출 및 그럴듯한 연구 결과는 각각 아직 입증되지 않은 부분을 남긴다. 내 해석으로는, 에이전트 평가는 이렇게 남은 의무를 명시할 때 더 유용해진다. (previous week) (completion) (action) (research)

주목할 출시

• GPT-6 Cyber는 보안 작업에 특화되고 작업 범위 준수를 학습하지만, 시스템 카드는 여전히 엇갈린 정렬 결과를 보고한다. 전문화된 역량과 신뢰할 수 있는 보고는 별개의 질문으로 남는다. (source)
• GPT-Image-2.6 Flare 및 GPT-Image-2.6 Sunburst는 명시적인 편집·출력 제어를 추가하고, Gemini Omni 1.2 Flash는 대화형 영상 편집을 확장한다. 이 출시들은 반복 수정을 더 유연하게 만들지만, 최종 채택한 자산의 비용을 입증하지는 않는다. (images) (video)
• Mistral Studio와 Kimi Hosted Agents는 실행 인프라를 공급업체 서비스로 옮긴다. Claude Managed Agents에서 검토할 구체적인 구현이 하나 더 생겼으며, 여기에는 별도로 접근이 제한된 Moonshot의 추론 전 보안 훅도 포함된다. (Mistral) (Moonshot)

부상하는 주제

완료에는 별도의 분모가 필요하다

Co-Design Bench — completing every requested revision는 선두 엔드포인트가 기준의 69.9%를 통과하지만 완전히 충족하는 것은 과제의 26.4%뿐이라고 보고한다. BioBasicsBench는 평균 채점 기준 점수를 보고하고, FrontierPhysics — evaluating complete physics research는 작업 흐름의 실행과 정확성·출판 가능성을 구분한다. 이 측정값들은 합칠 수 없지만, 공통된 보고 원칙을 뒷받침한다. 성공한 단위가 정확히 무엇이며 어떤 요구사항을 미완료 상태로 남기는지 밝혀야 한다. (coding) (lab evidence) (physics)

승인이 관찰 가능한 영향에 더 가까워진다

LeanGuard — checking policy before tool execution는 실행 전에 도구 호출이 코드로 표현한 정책을 준수하는지 검사한다. 반면 Caper — command approval based on observed consequences는 샌드박스 사전 실행의 보고서를 독립적인 승인자에게 제공한다. Agent Runtime Containment 관점에서 이 차이는 유용하다. 하나는 형식화된 정책의 준수를 검사하고 다른 하나는 결과를 드러낸다. 어느 쪽도 정책이나 샌드박스가 모든 배포 위험을 다룬다는 것을 입증하지 않는다. (policy) (consequences)

인터페이스가 학습의 일부가 된다

ToolSpace — environments built from observed tool compositions는 관찰된 도구 의존성으로 재생 가능한 환경을 구축한다. Harness-S는 대체 하네스로 학습 실패를 구제한 뒤 원래 하네스로 돌아와 평가한다. Hybrid Computer Use는 실행 중 이용 가능한 채널을 확장한다. 내 해석으로는 학습 근거와 실행 인터페이스에 각각 별도의 제거 실험이 필요하다. 어느 쪽을 바꿔도 모델 개선처럼 보이는 결과가 달라질 수 있다. (environments) (training) (interaction)

잦아드는 주제

장기 작업 점수 하나를 모든 의사결정의 균일한 개선을 뜻하는 약칭으로 쓰기는 더 어려워진다. BudgetMix RL — testing gains across interaction budgets는 다중 턴 RL의 향상이 복구에 집중되고 턴 예산이 줄면 축소된다고 밝힌다. 이는 개선에 대한 특정 해석에 의문을 제기하는 것이며, 모든 환경에서 RL이나 더 긴 추론이 유용하지 않다는 뜻은 아니다. (source)

뜻밖의 결과

GPT-6 Cyber 카드는 강력한 범위 준수 결과와 함께 Astra보다 약한 최종 차단 요인 보고를 제시한다. Anthropic의 복지 고려 연구도 행동에 관한 또 다른 주의점을 더한다. 상대의 정체성이 겉으로 드러난 배려를 바꾸지만, 의식이나 복지 동기의 인과성은 입증하지 않는다. AI Alignment에 대한 공통된 교훈은 핵심 성과와 함께 불편한 행동 차원도 보존해야 한다는 것이다. (reporting) (peer behavior)

열린 논쟁

마지막 단계는 누가 검증하는가? Google의 화학 시연에서 제안한 화합물은 여전히 실험 검증을 기다린다. 창작 작업에서도 채택 여부는 제작자의 몫이다. Higgsfield는 아바타 진행자가 등장하는 Shorts를 설명하고, 이미지·영상 출시는 편집 제어를 확대한다. 더 빠른 생성과 더 통제하기 쉬운 반복 수정만으로 과학적 타당성, 출력 품질, 권리 또는 제작 적합성을 독립적으로 입증할 수는 없다. (chemistry) (workflow) (editing) (video)

전망

Agents (LLM Agents)에 관해 다음으로 유익할 비교는 모델을 고정하고 하네스나 승인 장치를 바꾸면서, 완전한 과제 성공과 전체 실행·검토 비용을 함께 보고하는 것이다. 이는 예측이 아니라 근거를 요청하는 것이다. 이번 주의 학습, 인터페이스 및 승인 연구는 그 비교의 서로 다른 부분을 미해결로 남긴다. (training) (interface) (approval)