2026년 10월 6일 (화)

[01]

주요 소식

1. OpenAI가 제한적인 텍스트 워터마크 배포를 시작했다

전 세계 API 고객이 일부 모델에서 선택적으로 사용할 수 있으며, EU의 적용 대상 ChatGPT 및 Codex 텍스트에는 앞으로 몇 주에 걸쳐 적용된다. 탐지기 접근은 초기에는 승인이 필요하다. 400토큰 편집 실험에서 단어의 10%를 동의어로 바꾸면 탐지율이 약 92%에서 66%로, 25%를 바꾸면 17%로 떨어진다.

의의: 출력물 표식이 실제 배포 기능이 되고 있지만, 워터마크를 놓쳤다고 사람이 썼다고 판단할 수는 없다. → Content Provenance (AI output marking) (source)

2. SciUniverse는 에이전트가 실험실 작업을 수행할 수 있는지 시험한다

C5R은 물리적 작업과 가상 작업을 섞어, 같은 가중치를 부여한 계열 17개에 걸쳐 92개 작업을 평가한다. 표시된 전체 Pass@1 표에서 xhigh 설정의 Claude Fable 5.1이 45.3%로 선두이며, xhigh 설정의 GPT-6 Astra는 32.5%다. 보고된 작업당 비용 $40.61과 $52.37에는 inference만 포함되고, 실험실 비용과 인건비는 제외된다.

의의: 실험 결과에 연결된 벤치마크는 유용한 증거이지만, 물리적 실행 횟수가 제한적이고 비용도 일부만 집계해 배포에 관한 결론에는 한계가 있다. → Eval Harness Configuration (source)

[02]

논문 추천

RealCompanion — 대화 기억은 언제 도움이 되는가? 현재 초록은 최근 메시지 검색의 전체 성공률을 95.9%로 보고하지만, 필요한 메시지가 먼 과거에 있을 때는 2.2%다. 실제 관계 열 건과 메시지 27,218개를 사용한 연구다. 검색 정확도와 이력이 필요한 시점을 판단하는 능력을 구분한다는 점에서 읽을 만하다. 위키에는 오늘 저장된 초록과의 분모 차이를 남겼다. → RealCompanion: understanding people across long conversations (source)

VeriHarness — 불일치뿐 아니라 합의도 검증한다. 고정된 모델에 작업 공간, 증거 도구와 재사용 가능한 검증 스킬을 제공한다. 증거에 근거한 수정은 단일 실행 대비 평균 성능을 Gemini 3.5 Flash에서 6.2포인트, Claude Opus 4.8에서 6.4포인트 높인다. 구체적인 검증 메커니즘을 다룬다는 점에서 읽을 만하며, 초록에는 작업당 추가 비용을 확인할 정보가 없다. → VeriHarness: checking agreement against evidence (source)

[03]

주시할 신호

FrugalEvo: 더 강한 모델의 계획과 더 저렴한 모델의 구현을 결합해, 최적화 작업 10개 중 9개에서 비용을 고려한 품질 지표를 개선했다. 반복 횟수만이 아니라 지출에 따른 진전을 측정해야 한다는 점을 뒷받침하는 유망한 저자 보고 결과다. → Agents (LLM Agents) (source)
로컬 추론 설정의 중요성: Simon Willison의 Qwen3.8-27B Q4_K_M 실험은 추론을 끈 사례 5,070개에서 산술 정확도 23.57%를 기록했고, 중간 수준 추론을 사용한 예비 실험에서는 169개 중 167개를 맞혔다. 표본 크기가 달라 비교에 한계가 있다. → Qwen 3.8 27B (source)

[04]

위키 신규 페이지

RealCompanion: understanding people across long conversations — 출처 버전의 한계를 포함한 기억 벤치마크 노트. (source)
VeriHarness: checking agreement against evidence — 검증 방법 노트와 아직 답하지 못한 비용 질문. (source)

[05]

업데이트

OpenAI에 출처 증명 분석으로 가는 링크를 추가했다. (source)
Eval Harness Configuration에 출처의 이름 오류를 기록했다. Import AI는 한 항목을 GPT-5 Astra라고 부르지만, C5R은 GPT-6 Astra로 명시한다. (newsletter) (benchmark)