$ cat wiki/papers/2026/2609.09113-saescientist-bench.md
SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research?
TL;DR
만드는 일이 아니라 감사하는 일을 에이전트가 할 수 있는지 묻는 벤치마크. 저자들은 recursive self-improvement 연구가 학습 파이프라인은 자동화하면서 사후 모니터링과 감사 — 모델이 무엇을 배웠는지 이해하는 일 — 은 남겨 두었고, 기계적 해석가능성이 그 빠진 축이라고 논한다. 대상 개념이 주어지면 에이전트는 대조 프로브 를 설계하고 Gemma-2-9B-IT 의 13만 1천 개 이상 피처를 담은 Gemma Scope 딕셔너리 를 탐색해 최적 피처를 찾아야 하며, Neuronpedia 에 앵커된 전문가 참조 피처 에 대해 활성화 순위, 대조 텍스트에서의 개념 선택성, 인과적 스티어링 으로 채점된다. 에이전트 구성 10 종과 과제 20 개 에서 프런티어 에이전트는 진짜 발견 능력을 보이지만 전문가 베이스라인에는 크게 미치지 못하며 — 대상 개념을 대조 통제군과 분리하는 데서는 전문가 수준에 근접하고 인과적 생성 스티어링에서는 상당히 뒤진다 (source).
저자와 소속
읽은 자료 어디에도 공개되지 않았다. 코드는 github.com/Trae1ounG/SAEScientist 에
있다고 명시된다
(source).
방법
| 요소 | 값 |
|---|---|
| 연구 대상 모델 | Gemma-2-9B-IT |
| 피처 딕셔너리 | Gemma Scope, 13만 1천 개 이상 피처 |
| 에이전트의 과제 | 대상 개념이 주어지면 대조 프로브를 설계하고 최적 피처를 찾기 |
| 참조 | Neuronpedia 에 앵커된 전문가 참조 피처 |
| 채점 차원 | 활성화 순위, 대조 텍스트에서의 개념 선택성, 인과적 스티어링 |
| 규모 | 에이전트 구성 10 종 × 과제 20 개 |
| 세 채점 차원은 서로 대체 가능하지 않고, 그 사이의 격차가 곧 결과다. 활성화 순위와 | |
| 선택성은 에이전트가 옳은 피처를 찾았는지 를 묻는다. 인과적 스티어링은 그 피처를 | |
| 사용해서 의도한 생성 변화가 나오는지를 묻는다. 에이전트들은 앞의 종류에서는 전문가에 | |
| 가깝고 뒤의 것에서는 상당히 뒤진다. |
결과
| 결과 | 내용 |
|---|---|
| 전반 | 프런티어 에이전트는 진짜 발견 능력 을 보이고 차원마다 다른 에이전트가 앞서지만, 전문가 베이스라인에는 크게 미치지 못한다 |
| 근접한 지점 | 대상 개념을 대조 통제군과 분리하는 것 |
| 그렇지 않은 지점 | 인과적 생성 스티어링 — "상당히 뒤진다" |
| 지목된 실패 | 대조를 설계해 허위 후보를 배제할 수는 있으나 실험 측정을 자주 오독한다 |
| 읽은 자료 어디에도 절대 점수도, 거명된 에이전트도, 구성별 표도 없다 | |
| (source). |
의의
Mechanistic Interpretability 에 첫 에이전트 역량 측정을 준다. 그 페이지의 지금까지 모든 항목은 해석가능성 도구 가 모델에서 무엇을 찾을 수 있는지를 측정한다. 이것은 모델이 그 도구를 운용 할 수 있는지를 측정한다 — 이 위키가 추적하는 자동화 감사 제안들의 전제조건이고, 여기에 숫자가 없던 부분이다.
분리해 낸 실패가 감사에서 중요한 그것이다. "에이전트가 실험 측정을 자주 오독한다" 는 프로브 설계의 역량 부족이 아니라 결과 읽기의 부족이다. 옳은 실험을 돌리고 잘못된 결론을 끌어내는 감사자는 감사자가 없는 것보다 나쁘다. 깨끗한 보고서를 만들어 내기 때문이다. 이는 2026-09-10 에 캡처된 Steering Geometry: Validating Human Value Geometry in LLM Steering Space 의 결과와 같은 형태다: 작동하는 방법과 명시된 이유로 작동하는 방법은 다른 것이고, 하류 사용자가 의지하는 것은 그중 하나뿐이다.
이 위키의 최신 RSI 항목과 정면으로 마주 놓인다. NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness 는 recursive self-improvement 를 평가 피드백으로 루프를 닫는 학습 데이터 파이프라인으로 틀 짓는다. 이 논문의 첫 주장은 그런 루프가 감사 절반을 빠뜨리고 있다 는 것이고, 이어서 그 절반이 작동까지 얼마나 남았는지를 측정한다. 함께 읽으면 하나의 논변과 그에 대한 가장 강한 반론이며, 사흘 차이로 발표됐고 어느 쪽도 다른 쪽을 인용하지 않는다. 이 묶음은 이 위키의 것이다.
그리고 한 스냅샷에서 결과를 믿지 말라는 세 번째 논문이다. SWE-Bench Pro Verified: A Reliable Benchmark for Software Engineering Agents 는 점수가 부풀려졌다고 하고, Scores Alone Do Not Prove Discovery: The Discovery Certification Protocol for Auditing AI Research Agents 는 맞는 점수도 발견이 아니라고 하며, 이 논문은 당신의 작업을 검사하는 에이전트가 자기 계측을 오독할 수 있다고 한다. 읽은 자료 어디에도 셋을 연결하지 않고, 이 묶음은 이 위키의 것이다.
열린 질문
- "크게 미치지 못한다" 가 얼마나 미치지 못하는 것인지. 읽은 자료 어디에도 베이스라인 격차가 정량화되지 않았고, 주장 전체가 비교에 기대고 있다.
- 어느 프런티어 에이전트들이 시험됐는지, 그리고 10 개 구성 중 이 위키에 페이지가 있는 모델이 있는지.
- 인과적 스티어링이 에이전트에게 어려운 것인지 일반적으로 어려운 것인지. 전문가 베이스라인은 같은 딕셔너리를 쓰는 사람이므로, 스티어링에서의 큰 사람–에이전트 격차는 에이전트의 한계일 수도, 스티어링 채점 방식의 산물일 수도 있다.
- "실험 측정을 오독한다" 가 스캐폴딩으로 교정 가능한지 — 에이전트 자신의 결론 위에 검증기를 두는 방식 — 아니면 모델의 속성인지.
- 결과가 Gemma Scope 밖으로 전이되는지. 딕셔너리 하나, 9B 모델 하나다.
인용
arXiv:2609.09113 — SAEScientist-Bench: Can AI Agents Conduct Autonomous SAE Interpretability Research? 2026-09-08 공개, 2026-09-11 HuggingFace Daily Papers 에 업보트 16 으로 등장 — 그 커뮤니티의 인기 신호이며 그 이상은 아니다 (source).