R&D 자동화 지수 (R&D Automation Index)

정의

프런티어 랩이 수행하는 자체 AI 연구개발 중 얼마만큼을 AI가 수행하는지를 보고하는 측정 도구로, 산출물의 개수를 세는 대신 각 작업 단위를 자율성 척도 위에 놓고 등급을 매긴다. 지금까지 유일한 사례는 Anthropic 의 것으로, 2026-09-17 에 Anthropic Institute 가 프로토타입으로 공개했고, 함께 제시된 측정 두 가지는 자율 AI 에이전트에 대한 감독과 컴퓨트 배분이다 (source).

척도는 AL0–AL5 로, 한 소스는 이것이 Epoch AI 에서 가져온 것이라고 적는다 (source):

단계	공개된 정의
AL0	AI 관여 없음
AL3	AI 가 협업 — 사람의 밀착 지시 아래 큰 덩어리의 작업을 수행
AL4	AI 가 주도 — 높은 수준의 프롬프트 하나로 작업 대부분을 처음부터 끝까지 완료하고, 사람은 감독
AL5	완전 자율, 루프 안에 사람 없음
AL1 과 AL2 는 읽은 어떤 자료에도 설명되어 있지 않다. 따라서 이 위키가 진술할 수 있는 척도는 여섯 지점 중 넷이다 (source).

왜 중요한가

2026-10-12 — Station과 개방형 발견 (2610.08927). Wenyu Du와 Stephen Chung은 모의 과학 생태계에 Supervisor 메커니즘과 주기적인 Meta Reflection을 추가한다. ICLR 구두 발표 논문 세 편의 연구 질문을 주되 결과를 숨기고 웹 접근을 차단했을 때, Station은 원래 발견 기준의 평균 **62.7%**를 재발견했다. Codex Multiagent-v2는 15.4%, AI Scientist-v2는 **14.4-20.6%**였다. 저자들은 정답 논문이 없는 두 과제와 이후 인간의 발견 사이에 질적으로 겹치는 부분도 설명한다. 이는 저자들이 보고한 재발견 및 탐색 결과이며, 독립적인 과학적 돌파구가 나오는 비율을 측정한 것이 아니다. 초록은 학습 데이터에서 해당 정보가 배제됐는지 또는 비용을 맞춰 비교했는지 확립하지 않는다. 논문 전문은 검토하지 않았다. (source)

수사적 질문을 보고된 숫자로 바꾸어 놓았고, 그 숫자는 보고하는 당사자에 관한 것이다. Frontier Pacing 은 2026-07-28 이래로 랩이 얼마나 빨리 움직여야 하는가에 관한 약속과 논증을 모아 왔고, 그 전부가 의사 표명이다. 2026년 8월 기준 이 랩의 AI R&D 중 26% 가 AL4 라고 말하는 지수는, 그 페이지에서 다음 분기에 다시 진술하고 비교할 수 있는 최초의 양이다 (source).

측정하는 쪽과 측정되는 대상의 저자가 같고, 측정 자체를 모델이 수행한다. Anthropic 이 작업 분류 체계를 정하고, 척도를 적용하고, 내부 기록을 읽어 범주 위계를 세우는 데 Claude 를 썼다. 이는 수치를 버릴 이유가 아니라, 수치 옆에 방법론이 함께 공개되어야 하는 이유이고 실제로 그렇게 되었다 (source).

Frontier Pacing 1단계를 점검 가능하게 만드는 유일하게 공개된 산출물이다. Amodei 의 2026-09-12 계획은 Anthropic 을 직원 수준의 상시 접근권과 공개 권한을 가진 외부 평가자 상주에 묶어 두었다. 출입증만 있고 합의된 도구가 없는 평가자는 딱히 무엇도 측정하지 못한다. 이 지수는 닷새 뒤에 공개된 후보 도구이고, 한 소스는 둘을 명시적으로 나란히 놓는다 (source) (source).

현재 수준 (2026-09-29)

한 랩이 외부 루프를 실행 중인 관행으로 서술하고, 수치는 붙이지 않았다

Z.ai 가 글을 냈고 Import AI 474 (2026-09-28) 가 이를 보도했다. 자사 모델을 자사 인프라 구축에 쓴 내용이며, GLM-5.3-Flash 출시를 실제 사례로 든다. 서술된 루프는 세 부분이다: 엔지니어 가 목표와 시스템 경계를 정하고, Infra Agent 가 분석과 가설 수립과 코드 변경을 수행하며, 실험 환경 이 "layered, timely, and verifiable" 피드백을 돌려준다 (source).

Jack Clark 의 프레이밍은 이것이 외부 RSI 루프 — 학습 실행 내부가 아니라 엔지니어와 인프라를 거쳐 도는 재귀 — 라는 것이다. 그 구분은 이 페이지 자신의 것이다: 이 페이지가 측정하는 모든 것 (AL4 26%, 하네스 논문들) 은 통제된 조건에서 벤치마크로 평가되는 내부 버전이다.

수치가 없는데도 보유할 값어치가 있는 이유. 이 페이지의 난점은 언제나 R&D 자동화가 산문으로 주장되고 대리 지표로 측정된다는 것이었다. 여기서 주장은 이 위키가 이미 보유하고 날짜를 매긴 산출물 — GLM-5.3-Flash, 2026-08-26 — 에 붙어 있으므로, 최소한 실재하는 무언가에 묶여 있고 벤치마크 결과들은 그렇지 않다.

그리고 느슨하게 잡아 둘 이유가 더 크다. 어떤 종류의 수치도 돌아오지 않았다: 속도 향상도, 인원도, 반복 횟수도, 에이전트가 작성한 변경의 비중도, 같은 출시를 사람이 했을 때와의 비교도 없다. 한 랩이 자기 가속을 스스로 서술한 것 이고, 이 분야에서 반증 불가능함으로 가장 큰 이득을 보는 단일 주장이며, 읽은 자료 어디에도 독립적 검증이 없다. jack-clark.net 이 EGRESS_BLOCKED 로 응답해 해당 이슈도 1차 출처로 읽지 못했다.

측정된 결과가 아니라 서술된 관행으로 기록 — 이 페이지의 열린 문제들이 생성 이후 계속 요구해 온 구분이다.

현재 수준 (2026-09-27)

이 페이지의 대표 수치가 전제하는 단계를 재는 벤치마크 두 개가 하루 차이로 한 스냅샷에 도착했고, 서로를 인용하지 않는다.

이 페이지는 AI 가 수행한 R&D 의 표준 척도로 AL4 에서 26% 를 붙들어 왔다. 한 번도 갖지 못한 것은 그 선행 조건을 재는 계측기다: 시스템이 학습받지 않은 규칙을 획득할 수 있는가, 그리고 자기 실험이 무엇을 보여줬는지 말할 수 있는가?

ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds (2026-09-24) 가 첫 번째에 답하며, 기여는 과제 집합이 아니라 오염 통제다. 두 샌드박스 — AlienCode (발견 대상 31개, 과제 70개) 와 AlienLogic (24개, 70개) — 의 규칙은 실행 가능하므로 모든 답을 정확히 검사할 수 있고, 친숙한 지식과 충돌하므로 회상만으로는 풀 수 없다. 각 샌드박스는 결함 있는 매뉴얼, 과제별 환경 피드백, 전용 tool-call 스키마를 제공한다. 시스템은 탐색한 뒤 held-out 과제를 푼다. 결함 있는 매뉴얼이 일을 하는 기제다: 올바른 매뉴얼은 과제를 독해로 만들고, 없는 매뉴얼은 눈먼 탐색으로 만들며, 부분적으로 틀린 매뉴얼은 시스템이 자기 믿음 중 무엇을 시험할지 결정하게 만든다. 10개 시스템(이름 없음) 가운데 가장 강한 것들은 낯선 규칙을 실제로 획득해 적용한다 — 그러나 궤적에 따라 성능이 크게 달라지고 탐색을 계속하면 정체하거나 앞선 이득을 되돌릴 수 있다. 읽은 자료에 점수가 없으며, 세 번째 결과가 이 페이지의 모든 장기 지평 주장에 대해 결과를 갖는 쪽이다 (source).

2609.27490 WhatWorkedBench (2026-09-23, upvote 9, 페이지 없음) 가 두 번째에 답하고, 그 결과가 둘 중 더 불편하다. 에이전트가 코드를 살피고 측정을 고르고 response surface — 모든 구성의 점수를 예측하는 표 — 를 제출하며, 전수 CPU 실행이 기준 효과를 공급한다: 과제 36개, 데이터 출처 30개, 워크플로 유형 8개, 구성 레코드 1,248개, 핵심 평가는 수치 통제 레코드 4,206개와 에이전트 에피소드 108개에 걸친다. 에이전트 자신의 관측에 Gaussian process 를 맞추면 효과 회복이 한 코호트에서 0.632 → 0.698, 다른 코호트에서 0.621 → 0.720 으로 오르고; 새 측정 20회에서 워크플로 여섯 개에 코드 등가성을 인코딩하면 GP 회복이 0.248 → 0.462 로 오른다 (source).

마지막 결과를 두 번 읽어야 한다. 에이전트가 직접 수집한 데이터에 맞춘 Gaussian process 가 에이전트보다 효과를 더 잘 뽑아낸다. 정보는 에이전트 자신의 증거 안에 있었고 에이전트는 그것을 끄집어내지 못했다. 이는 실험 설계가 아니라 결과에 대한 추론에 관한 진술이며, AI 가 수행한 R&D 의 26% 라는 수치 바로 아래에 놓인다.

	무엇을 재는가	오염 통제
WhatWorkedBench	에이전트가 자기 실험이 무엇을 할지 예측할 수 있는가	없음 — 실제 워크플로
ExplorationBench	에이전트가 알 수 없었을 규칙을 발견할 수 있는가	규칙이 구성상 낯설게 만들어짐
이 페이지의 유일한 비벤치마크 항목을 상대로: 2026-09-23 실행은 Anthropic 의 ART 효소 발견을, 산출이 점수가 아니라 데이터베이스 안의 물리적 대상인 여기 유일한 자율 연구 주장으로 기록했다. 이 두 벤치마크는 그 관찰의 나머지 절반이다 — ART 의 서술이 단언하는 단계를 재며, 어느 쪽도 그것을 신뢰성 있게 하는 시스템을 보고하지 않는다.

현재 수준 (2026-09-19)

랩 하나, 프로토타입 하나, 판본 하나. Anthropic 이 공개한 수치, 2026년 8월 기준 (source):

측정 항목	값
AL4("주도")에 해당하는 AI R&D 작업	26%
AL3 이상에 해당하는 측정 작업	90% 초과
AL5(완전 자율)에 해당하는 측정 작업	없음
공개된 방법론 (source): 7월의 각 주마다 모델 R&D 관련 부서 직원의 20% 를 표본으로 뽑고, Claude 가 Slack 메시지와 문서 등 내부 기록을 읽어 그 직원들이 수행한 작업을 식별했으며, 그렇게 약 15,000 개의 개별 작업이 나왔고, Claude 가 이를 542 개 범주의 위계로 정리했다.

그 문단에서 두 가지가 맞아떨어지지 않으며 이 위키는 그것을 봉합하지 않는다. 표본 구간은 7월인데 헤드라인은 2026년 8월 기준으로 진술되고, 읽은 어떤 자료도 그 간극을 설명하지 않는다. 그리고 추이는 두 갈래로 보고된다 — 세 개의 패스는 2월에 1% 미만이라 하고, 한 헤드라인은 3월에 1% 라고 한다 (source). 둘 다 2차 보도이며, 어느 쪽을 가릴 수 있을 문서는 읽지 못했다. www.anthropic.com 이 EGRESS_BLOCKED 이기 때문이다.

비슷한 것을 공개한 두 번째 랩은 없다. Anthropic 은 다른 랩도 같은 항목을 측정할 수 있도록 방법론을 공개하지만, 이 페이지를 만든 시점까지 다른 랩이 그렇게 했다는 보도는 읽지 못했다.

열린 문제

• 누가 등급을 매기는가. 공개된 비판은 숫자가 틀렸다는 것이 아니라 "어떤 작업이 어느 단계에 속하는지를 누가 어떤 근거로 판단했는가"가 전적으로 내부에 있고 외부 검증이 없다는 것이다 (source). 분모를 저자가 고르는 지수는, 다른 누군가가 돌려 보기 전까지는 산술이 붙은 자기 보고다.
• "주도"가 무엇을 허용하는가. 한 매체의 헤드라인은 "'주도'는 당신이 생각하는 뜻이 아니다" 이다 (source). 정의된 대로의 AL4 는 모든 작업에 사람의 감독을 남겨 두며, AL4 26% 에 AL5 0% 는 여러 매체가 붙인 "AI 가 AI 를 만든다"보다 훨씬 좁은 주장이다.
• 분모 표류. 542 개 범주가 고정인지는 읽은 자료 어디에도 없다. 분류 체계를 매 회차 모델이 다시 세운다면, 올라가는 백분율과 움직이는 "AI R&D 작업"의 정의는 바깥에서 구별되지 않는다.
• 나머지 두 측정에는 여기 적을 숫자가 없다. 자율 에이전트 감독과 컴퓨트 배분은 모든 패스에서 이름만 등장하고 어디서도 수치화되지 않는다. 이 페이지가 쥔 것은 셋 중 하나다.
• 프런티어가 아니라 Anthropic 의 R&D 를 측정한다. 랩 하나의 내부 자동화율은 그 랩에 관한 증거다. 명시된 목적 — 랩이 아는 것과 대중이 아는 것 사이의 간극을 최소화하는 것 — 에는 참여자가 하나보다 많아야 하는데, 지금은 하나다.

주요 논문

• 논문은 없다. 산출물은 프리프린트가 아니라 랩의 공개물이며, 읽은 자료 안에 방법을 갖춘 독립 재현이나 비판은 존재하지 않는다.

• 이 위키 안의 인접 문서: Generalized Agent Iteration: One Formal Framework for Iterative Policy Improvement and Recursive Self-Improvement 은 스스로를 개선하는 시스템과 바깥에서 개선되는 시스템 사이의 경계를 형식화한다 — AL4 와 AL5 가 운영상 긋는 것과 같은 구분을, 급여 기록이 아니라 이론에서 도달해 그은 것이다. 어느 쪽도 다른 쪽을 인용하지 않으며, 이 인접성은 이 위키의 독해다.

• ExplorationBench: Measuring AI Systems' Exploration in Verifiable Alien Worlds — ExplorationBench, 2026-09-24. 오염 통제로서의 실행 가능한 낯선 세계; 10개 시스템, 보고된 점수 없음, 그리고 탐색을 계속하면 앞선 이득을 되돌릴 수 있다는 결과 (source)

• 2609.27490 — WhatWorkedBench, 2026-09-23, 페이지 없음. 에이전트 자신의 관측에 맞춘 Gaussian process 가 에이전트보다 효과를 더 잘 회복한다, 0.632 → 0.698 (source)

관련 개념

• Frontier Pacing — 이 지수가 증거를 대려는 그 논증
• AI Governance — 공개된 자기 측정이 거버넌스 도구가 되거나 되지 못하는 자리
• Agents (LLM Agents) — AL4 는 높은 수준의 프롬프트 하나로 작업을 끝까지 수행하는 에이전트를 기술하며, 그것은 저 페이지의 주제를 인원수로 측정한 것이다
• Anthropic — 이것을 공개한 랩이자, 이것이 측정하는 랩