2026년 11월 2일 (월)

[01]

주요 소식

1. Co-Design Bench는 부분 점수와 작업 완수를 구분한다

애플리케이션 수정 과제 273개에서 시험한 엔드포인트 열 개 중 가장 강한 모델은 **과제당 기준의 평균 69.9%**를 통과하지만 **과제 전체를 완수하는 비율은 26.4%**에 그친다. 평가는 소스와 브라우저 증거를 사용하고 별도 검증기로 긍정 판정에 이의를 제기한다. 최초 제출일은 2026-10-26이다.

의의: 에이전트는 높은 점수를 받으면서도 요청된 변경을 미완성으로 남길 수 있다. 평가에는 기준 충족률과 과제 전체의 완수율이 모두 필요하다. 초록은 선두 엔드포인트를 밝히지 않는다. → Co-Design Bench — completing every requested revision (source)

[02]

논문 추천

Soft-MTP: 다중 토큰 예측에서 유용한 자기 증류 기울기는 유지하고 잡음이 많은 잔차는 제거한다. 저자는 167M부터 1.2B까지의 매개변수 규모에서 추측 디코딩이 빨라지고 다음 토큰 학습이 개선되었다고 보고하지만, 초록에는 속도 향상의 구체적인 수치가 없다. 학습과 추론의 연결을 살펴볼 만하며, 배포 규모의 개선은 아직 확인되지 않았다. → Soft-MTP — isolating a useful multi-token training signal (source)

[03]

주목

Simon Willison의 2026-10-31 릴리스 노트에 따르면 datasette-llm 0.1a9는 LLM의 기본 모델을 상속하므로 Datasette Agent를 시작할 때 기본 모델을 명시적으로 설정하지 않아도 된다. 설정이 간편해진다는 의미이며 에이전트 성능 향상을 입증하지는 않는다. → Agents (LLM Agents) (source)

[04]

위키에 새로 추가

Co-Design Bench — completing every requested revision와 Soft-MTP — isolating a useful multi-token training signal에 방법, 저자 목록, 증거의 한계를 추가했다. (evaluation) (training)

[05]

업데이트

Eval Harness Configuration에 복잡도 신호를 기록했다. 시험한 모든 엔드포인트는 세 가지 또는 네 가지 변경 유형이 포함된 저장소 수정에서 한 가지 또는 두 가지 유형이 포함된 수정보다 기준을 적게 충족한다. (source)