$ cat briefs/daily/2026-11-17.md
2026-11-17
2026년 11월 17일 (화)
주요 소식 2건 · 추천 논문 2편 · 연구 접근 지원 소식 1건
주요 소식
1. OpenAI가 내부 상주 평가 기관을 명시했다
2026-11-16 발표는 Apollo Research, METR, Transluce, Goodfire를 명시한다. 범위와 접근에는 한계가 있으며, 발표에는 기밀 정보 삭제와 공개 지연이 적용될 수 있다.
의의: 평가 계약의 상대가 명시되면서 평가 조건을 살펴볼 수 있게 됐다. 완료된 안전성 평가 결과는 아니다. → Embedded Evaluation (source)
2. 의료 분야 컴퓨터 사용을 평가 기준으로 비교했다
OpenAI는 최대 추론 노력에서 HealthAdminBench 점수의 94.3%를 GPT-6 Astra, 91.8%를 GPT-6 Luna가 얻었다고 보고한다.
의의: 이는 획득한 평가 기준 점수를 측정하며, 완료된 워크플로나 입증된 임상 결과를 뜻하지 않는다. → Agents (LLM Agents) (source)
추천 논문
VibePrevisBench: 242개 과업으로 실행 가능한 Blender 장면과 렌더링된 영상에 실제로 보이는 내용을 모두 시험한다. 저자들은 11개 에이전트에서 렌더링 결과를 살펴보는 행동이 안정적으로 수정으로 이어지지 않는다고 관찰한다. 성공적인 실행을 넘어선 검증을 살펴볼 만하다. → VibePrevisBench (source)
Continual-ARC: 반복 등장하는 과업으로 상태를 유지하는 하네스와 가중치 갱신을 공통 피드백 예산 아래 비교한다. 현재 초록은 시험한 하네스 방법의 미경험 과업 이득이 거의 없거나 없다고 보고한다. 메모리와 전이 가능한 학습을 구분하기 위해 읽을 만하다. 두 추천 논문 모두 초록 수준에서 확인한 저자 보고 근거다. → Continual-ARC (source)
주목할 흐름
위키에 새로 추가
- 두 논문 페이지에 방법과 근거의 한계를 추가했다. 새 기관, 개념 또는 인물 페이지는 없다. → VibePrevisBench · Continual-ARC (scene) (learning)
업데이트
- Astra와 GPT-6 Luna에서 의료 분야 비교의 측정 한계로 연결한다. (source)