2026년 11월 8일 (일)

[01]

주요 소식

1. BioBasicsBench는 에이전트가 실험 근거를 존중하는지 평가한다

OpenAI는 100개의 일상적인 습식 실험실 과제에서 xhigh 설정의 GPT-6 Astra가 66.7%의 평균 보상을 얻었고, GPT-5.6 Sol은 43.8%를 얻었다고 보고한다. 이는 채점 기준상 받을 수 있는 점수의 비율이며, 과제를 완전히 해결한 비율이 아니다. 보고서는 여전히 가정이 근거를 압도하는 사례를 발견한다.

의의: 평균 점수가 높아졌다고 신뢰할 수 있는 실험실 판단이 입증되는 것은 아니다. 평가에서는 근거가 부족한 상황도 시험해야 한다. → OpenAI (source)

2. Kimi Hosted Agents는 실행 환경을 관리형 서비스로 제공한다

Moonshot의 2026-11-05 발표는 격리된 샌드박스, 네트워크 통제, 중단 가능한 세션 및 감사 기록 내보내기를 설명한다. 별도 구성요소인 추론 전 보안 훅은 현재 기업 인증 사용자에게 선별적으로 제공된다.

의의: 실행 환경 통제가 제품의 일부가 되지만, 이 발표가 격리 효과나 생산성 향상을 독립적으로 입증하지는 않는다. → Moonshot AI · Claude Managed Agents (source)

[02]

논문 추천

Harness-S: 형제 하네스로 실패한 학습 시도를 구제한 뒤, 학습한 정책을 원래 하네스로 돌려보낸다. 학습 지원과 배포 의존성을 구분한다는 점에서 읽을 만하다. 초록은 향상을 보고하지만 수치로 된 효과 크기는 제시하지 않는다. → Harness-S (source)

Hybrid Computer Use: 코드, 접근성 및 그래픽 상호작용을 결합하고, 채널 전환 시 오래된 상태에 근거한 행동을 방지한다. 인터페이스를 고려한 평가라는 점에서 읽을 만하다. 보고된 OSWorld 2.0 향상에 관한 수치 점수는 초록에 없다. 최초 제출일은 2026-10-30이다. → Hybrid Computer Use (source)

[03]

주목할 흐름

Harness-S의 추론 라우터는 실행기 롤아웃 수가 같아도 추가 향상을 제공한다. 전체 라우팅 비용과 학습 비용은 여전히 열린 질문이다. → Agentic Reinforcement Learning (source)

[04]

위키에 새로 추가

위의 두 논문 페이지에 저자, 방법 및 근거의 한계를 추가했다. 검토가 필요한 새 기관, 개념 또는 인물 페이지는 없다. → Harness-S · Hybrid Computer Use (training) (interface)

[05]

업데이트

Eval Harness Configuration에 Arena의 2026-11-04 공개 자료를 기록했다. Claude Opus 5.5 (Max)의 Net Improvement는 20.14%, 95% CI는 18.06%에서 22.23%다. 이는 무작위 기준선에 대한 부호 있는 대비값이며, Elo나 성공 확률이 아니다. (source)