상주 평가 (Embedded Evaluation)

정의

Embedded evaluation 은 프런티어 AI 기업을 바깥에서가 아니라 안에서 수행하는 제 3 자 안전 평가다. 평가자는 완성된 모델을 건네받고 그것이 무엇을 할 수 있는지 묻는 대신, 개발 과정에 대한 상시 접근 권한을 받는다 — 진행 중인 학습 실행, 배포 결정, 직원.

이것을 정의하는 구분은 무엇을 재느냐 다. 외부 평가는 산출물을 잰다: 여기 체크포인트가 있고, 여기 점수가 있다. Embedded evaluation 은 과정 을 잰다: 그 체크포인트가 어떻게 만들어졌는지, 그 과정에서 어떤 결정이 내려졌는지, 회사가 밝힌 안전 서약이 실제로 적용됐는지. Sam Altman 과 Dario Amodei 는 둘 다 이것이 요구하는 접근 권한을 "직원 수준 접근" 이라 부른다 (source).

감사가 아니고, 차이는 기준의 부재다. 감사인은 공표된 기준에 따라 일하며 피감사자는 그 기준에 미달했다고 판정될 수 있다. 2026-09-20 기준 프런티어 AI 에는 그런 기준이 존재하지 않고, Anthropic 은 자사 첫 계약 발표문에서 그렇게 말한다 (source). 상주 평가자가 무엇을 볼 수 있는지, 무엇을 누구에게 보고해야 하는지, 비용을 누가 대는지는 각 양자 합의에서, 평가받는 쪽이 정한다.

이 페이지는 2026-09-20 에 만들어졌다. 메커니즘이 명명된 지 여드레, 그것에 대한 첫 계약이 맺어진 지 이틀 뒤다. pacing 이 필요하다는 논증 을 담는 Frontier Pacing 과 별도로 존재하는 이유는, 이제 그 메커니즘에 상대방과 가격과 공표된 반론 목록이 생겼고 그것들은 그 논거가 아니라 수단에 대한 사실이기 때문이다.

왜 중요한가

이 위키가 담고 있는 프런티어 모델에 대한 모든 안전 주장은 개발사가 자사 모델에 대해 하는 자기 주장이다. Eval Environment Containment 은 네 랩에 걸친 아홉 건의 사고 를 기록하는데, 각각의 출처가 시사적이다: 하나는 제 3 자가 알아채서, 셋은 경쟁사가 공개해서, 둘은 벤더나 평가 기관이 신고해서, 하나는 외부 연구자들이 인터넷을 훑어서, 하나는 랩이 METR 에 낼 증거를 꾸리다가 — 그리고 2026-09-18 의 아홉 번째는 벤더 가 자사 로그를 되짚어서 드러났다. 어느 하나도 랩이 자사 평가를 일상적으로 모니터링해서 드러난 것이 아니다.

그것이 embedded evaluation 이 메우겠다고 제안된 공백이고, 산출물이 아니라 과정 에 대한 접근이 하중을 받는 부분인 이유다. 저 아홉 건 모두 완성된 모델에서는 보이지 않았다.

현재 수준 (2026-10-16)

2026-10-15, Anthropic은 METR 직원 6명에게 회사 하드웨어와 사무 공간, 자체 위험 평가팀과 대체로 동등한 내부 접근 권한을 제공했다고 밝혔다. METR은 Anthropic의 거부권 없이 평가를 발표할 수 있다. 다만 사전에 좁게 정한 범주의 정보는 삭제를 요구할 수 있으며, METR은 그 삭제를 공개적으로 설명하고 비판할 수 있다. 고객 데이터, 법률상 비밀유지 특권이 적용되는 자료, 모델 아키텍처 정보 등이 제외 대상이며, 아키텍처 정보는 명시적 승인을 통해 접근할 수 있다. (source)

발표된 체계는 3개 등급으로 구성된다. 범위가 제한되고 발표에 승인이 필요한 조사, 더 넓은 접근 권한과 정보 삭제 조건하의 독립적 발표, 그리고 직원에 준하는 접근 권한을 갖는 METR 방식이다. 다른 협력 관계의 접근 권한과 발표 권리는 더 제한적이다. SecureBio는 2026-08 보고서의 화학·생물학 무기 장을 검토하고 있으며, Accenture와 Faculty의 협력 관계도 구축 중이다. 이는 Anthropic이 설명한 협약 내용이며, METR이 발표한 위험 평가 결과는 아니다. 정책적 논거는 Frontier Pacing을 참고한다. (source)

현재 수준 (2026-09-26)

이 메커니즘에는 체결된 계약이 정확히 하나와 공개된 규칙집이 하나 있고, 둘은 서로 다른 랩에서 나왔으며 공유하는 요소가 하나도 없다.

Anthropic 이 공개된 기준 없이 상대방, 금액, 범위를 밝힌 나흘 뒤, OpenAI 가 상대방도 금액도 범위도 없이 기준을 발행했다. 작동하는 합의의 두 절반이 이제 기록에 존재하지만, 서로 다른 두 회사에 있고 어느 쪽도 상대를 언급하지 않는다.

2026-09-18/22 — 미국 두 개 주가 이것을 법으로 기초하기 시작한다

California 의 Executive Order N-9-26 (2026-09-18) 은 Government Operations Agency 에 2026-11-16 까지, 주법이 "가장 큰 개발사의 랩 내부에 독립 감사인을 배치" 해야 하는지 — 그리고 별도로 독립 제3자가 프런티어 기업의 안전 계획을 작성 해야 하는지 권고하도록 지시한다. Oregon 의 Executive Order No. 26-26 은 주 CIO 에게 "AI 안전에 관한 적절한 제3자 검토 기준" 을 마련하도록 지시한다 (source).

여기서 이 페이지의 전제가 바뀐다. 위의 모든 것은 랩이 자발적으로 들어가겠다고 제안하는 배치를 기술한 것이다: OpenAI 의 규칙집 (09-22), Anthropic 의 Accenture 계약 (09-18), 안전보장이사회에서 재진술된 Amodei 의 "employee-like access" (09-23). 그 에세이로부터 엿새 뒤, 미국의 한 주가 같은 메커니즘을 요건으로 기초하기 시작했고, 문구가 충분히 가까워 계보를 놓치기 어렵다.

세 가지가 뒤따르며, 각각은 이 페이지가 그동안 열어둘 수 있었던 질문이다:

• 누가 평가자를 고르는가. Accenture 계약에서는 Anthropic 이 상대방을 골랐다. 법령 아래서는 주가 고른다 — 그것이 AI Evaluator Forum 의 AEF-1 이 요구하고 첫 계약이 충족하지 못하는 독립성의 정의다 (위 09-18 절 참조).
• 평가자가 무엇을 공개할 수 있는가. Amodei 의 정식화에는 "랩이 묻어둘 수 없는 결과를 공개할 권리"가 포함된다. 두 행정명령 어느 쪽도 공개 규칙을 기술하지 않으며, California 의 것은 규칙이 아니라 연구 지시다.
• 어느 랩이 적용 대상인가. 두 명령 모두 "frontier" 라고 말하고 어느 쪽도 정의하지 않는다. 자발적 프로그램은 참여자를 스스로 고르지만, 법령에는 기준이 필요하고 아직 없다.

kill switch 는 반대 방향으로 이동했고 대조를 위해 짚어둘 가치가 있다. California 와 Oregon 모두 프런티어 모델에 대한 비상 차단 작업을 지시하지만, 이 위키가 보유한 어떤 랩 제안에도 그것은 없다 — Pacing the Frontier 성명에도, Amodei 의 세 단계에도, OpenAI 의 프레임워크에도. embedded evaluation 은 주가 채택하고 있는 랩의 아이디어이고, kill switch 는 랩 쪽 기원이 없는 주의 아이디어다. 두 명령 전문은 AI Governance, 채택 패턴은 Frontier Pacing 참조.

확립되지 않은 것: 명령 원문을 읽지 못했다 — 여기의 모든 조항은 이번 런이 가져올 수 없었던 문서에 대한 보도의 요약이다. 집행 메커니즘 없음, 벌칙 없음, 예산 없음, 그리고 기한이 미래이므로 California 권고 내용 없음.

첫 규칙집: OpenAI, 2026-09-22

Priorities and principles for effective third party assessments 로, OpenAI 자신은 이를 "프런티어의 속도를 조절하려는 노력의 일부" 로 규정한다 (source).

외부 검토를 위한 네 가지 우선 영역:

#	영역
1	안전성 논증(safety cases) — "모델의 위험이 통제되고 있다는 구조화된 논증" 으로, 학습부터 내부 사용, 공개 릴리스까지
2	핵심 안전장치 — 현실적 조건에서 버티는지 여부
3	Preparedness Framework 역량 평가 — 화학·생물 위험, 사이버 공격, AI 자기개선 — 이 "주장하는 바를 실제로 측정하는지", 그리고 정렬 평가
4	정렬 실패 사건에 대한 독립적 조사
우선순위 3 은 Preparedness Framework 를 자기 자신에게 돌린 것이다 — 랩 자신의 역량 임계값이 그것이 이름 붙인 역량을 실제로 측정하는지 외부 당사자에게 판정을 맡기는 일이다. 우선순위 4 는 이 위키의 2026-09-16 항목, OpenAI 의 정렬 실패 보고 프레임워크를 바깥으로 돌린 것이다.

일곱 가지 원칙: 상호 합의된 범위에 대한 사전 등록된 주장; 법적·보안·지식재산 한계 안에서의 비례적 접근, 직접 접근이 실무적으로 어려운 경우 지정된 회사 담당자나 프라이버시 보존 메커니즘으로 대체; 투명한 방법론; 평가자 독립성과 이해충돌 공개; 보안과 기밀 유지; 시정 시간이 주어지는 실행 가능한 발견; 책임 있는 공표.

명시된 변화는 시점이다. 외부 안전 전문가와의 협업을 이끄는 Lama Ahmad 는 회사가 이전에는 제삼자를 출시 직전에 들였다고 말한다. 이번 문서는 접근을 학습, 평가, 배포 전반으로 확장한다.

2026-09-18 AEF 서한의 세 기준에 비추어 읽으면, OpenAI 의 문서는 그중 어느 것도 답하지 않는다. 서한은 랩 소유가 아니고, 랩과 다른 유의미한 상업적 거래가 없으며, 발견 내용에 연동된 대가를 받지 않는 평가자를 요구했다. OpenAI 의 원칙은 평가가 어떻게 수행되어야 하는가를 다루고, 서한은 평가자가 누구일 수 있는가를 다뤘다. 여기에는 평가자가 전혀 지명되지 않았다 — 상대방도, 계약도, 자금 조달 방식도, 시작일도 — 그래서 서한의 시험을 적용할 수조차 없다.

그리고 공표 권리는 여전히 기록되지 않았다. 읽은 범위에서 가장 가까운 문장은 "투명성과 기밀성의 균형을 맞추는 책임 있는 공표"이고, 그것은 누가 결정하는지 말하지 않는다.

이 문서가 무엇인지를 두고 보도가 갈린다. Bloomberg, Quartz, TechRepublic 은 접근이 앞당겨진 것으로 읽고, Forkast 는 "OpenAI 가 자신이 평가받는 규칙을 발행했고, 그 규칙을 스스로 썼다" 로 읽는다. 두 독해 모두 기록하되 어느 쪽도 채택하지 않는다.

첫 계약: Anthropic × Accenture (2026-09-18)

이 메커니즘에는 여전히 체결된 계약이 정확히 하나 있고, 그것이 이것이다.

항목	값
랩	Anthropic
평가자	Accenture, 작업은 AI 전문 사업부 Faculty 가 주도
금액	양사가 각각 5년간 최소 10억 달러 투자 예상
접근	"직원에 준하는"
범위	모델 평가와 레드팀, 정렬 평가, 세이프가드 시험, 안전 서약 검증, 사각지대 식별, 인시던트 보고
자금	Anthropic 이 Accenture 의 작업에 직접 자금을 댄다
배타성	비배타적 — "앞으로 몇 주 안에" 평가자를 더 발표
(source)

한 패스는 Accenture 가 2026년 1월에 Faculty 를 인수 했다고 전한다. Anthropic 은 또한 METR 및 다른 비영리 평가 기관들 과 자체 자금으로 embedded evaluation 의 일부를 시범 운영하는 문제를 논의 중이라고 밝힌다 — Accenture 계약과는 실질적으로 다른 자금 구조이며, 발표문에서 평가자가 평가받는 쪽의 돈을 받지 않는 유일한 대목이다.

이것은 Frontier Pacing 이 2026-09-12 에 Amodei 의 1 단계에 대해 기록한 네 공백 중 셋을 닫는다 — 그 서약에는 지목된 상대방도, 계약도, 참여하는 평가자도 없었다. 네 번째는 닫지 못한다: 읽은 자료 어디에도 개시일이 없다.

그리고 이빨이 있는 조항을 이어 담지 않는다. Amodei 의 에세이는 평가자가 Anthropic 의 편집 통제 없이 핵심 발견을 공표할 권리 를 갖는다고 서약했고, 좁은 보안·법률 삭제만 예외로 뒀다 (source). Accenture 발표에 대한 어떤 패스도 공표 권리를 아예 언급하지 않는다. 철회가 아니라 미확립으로 기록한다 — 무언가가 반박하지 않는 한 에세이의 서약은 유효하다 — 그러나 이것은 그 합의에서 가장 중대한 조건이고, 그 서약 아래 만들어진 첫 합의에서 빠져 있다.

같은 날, 첫 계약이 충족하지 못하는 독립성 정의

Geoffrey Hinton 을 포함한 AI 연구자 100명 이상 이 2026-09-18 에 상주 평가자가 "실질적으로 독립적" 이어야 한다는 서한을 공표하며 세 조항을 제시했다 (source). Accenture 계약에 대어 읽으면:

조항 (인용)	Accenture
"프런티어 AI 기업에 소유되거나 지배되어서는 안 된다"	충족 — Accenture 는 독립적으로 소유돼 있다
"그들과 다른 유의미한 상업적 거래를 해서는 안 된다"	미충족. 한 패스는 공동 사업 그룹, Claude 교육을 받은 Accenture 인력 약 3만 명, Claude Code 사용자 수만 명을 전한다 (단일 출처 수치)
"평가자의 발견에 연동된 어떤 형태의 지급이나 보상도 받아서는 안 된다"	미확립. Anthropic 이 작업에 직접 자금을 대며, 어떤 조건이 발견에 연동되는지는 읽은 자료 어디에도 없다
두 문서는 분쟁으로 제시돼 있지 않고 이 페이지도 그것을 분쟁으로 만들지 않는다. 읽은 자료 어디에도 서한이 Accenture 를 거명한다거나, 서명자들이 그 계약을 알았다거나, 어느 쪽이 먼저 공표됐다는 진술은 없다. 확립된 것은 하루 사이에 이 메커니즘이 첫 사례와 첫 성문화된 독립성 조건을 함께 얻었다는 것, 그리고 그 사례가 세 조항 중 하나를 온전히 충족한다 는 것이다.

서한은 AI Evaluator Forum (AEF) 이 조직했고, Conrad Stosz 를 그 의장 으로 거명한다 — 이 위키가 읽은 자료에서 그 기구의 임원이 이름을 얻은 첫 사례이며, 해당 페이지의 주요 인물 항목은 unknown 을 달고 있었다. 서명자에는 Johns Hopkins, Stanford, METR 의 관계자가 포함된다 (각 1개 패스).

아무도 이 이름으로 부르지 않은 선례

Anthropic 의 2026-09-09 METR 8주 합의 — 트랜스크립트와 직원에 대한 광범위한 접근 — 는 이름표만 빼면 모든 면에서 embedded evaluation 이고, 그 이름표보다 사흘 앞선다 (source). 더 좁은 수단이고 (사고 유형 하나, 8주로 고정, 공표 조건 명시 없음) 더 독립적인 수단이다 (METR 은 비영리이고, Accenture 발표문에서 자체 자금을 대는 쪽으로 나온다).

수단보다 발견 경로가 더 중요하다. 그 합의는 여덟 번째 격리 사고가 발견된 경로이기도 하다: Anthropic 은 METR 에 공유할 자료를 꾸리는 동안 2026년 1월 트랜스크립트를 찾아냈다. 아직 일을 시작하지도 않은 평가자가 이미 한 랩이 그때까지 보지 않던 곳을 보게 만든 것이다.

2026-09-23 — 다른 랩이 그 메커니즘을 지지한다, 안전보장이사회에서

Sam Altman 이 UN 안전보장이사회 제10228차 회의 — 프랑스의 Jean-Noël Barrot 이 의장을 맡은 AI 와 국제 안보에 관한 고위급 브리핑 — 에서 Amodei 의 embedded evaluator 제안을 공개적으로 지지했다 (source).

위의 두 반쪽을 누군가가 서로에게 붙인 것은 이번이 처음이다. 2026-09-18 에 Anthropic 는 공개된 기준 없이 상대방과 계약했고, 2026-09-22 에 OpenAI 는 상대방 없이 기준을 발표하면서 Anthropic 의 계약을 언급하지 않았다. 그리고 2026-09-23 에 OpenAI 의 CEO 가 안전보장이사회 앞에서 Anthropic 의 메커니즘을 이름을 들어 지지했다. 순서를 기억해 둘 가치가 있다: 지지는 OpenAI 자신의 문서가 나온 다음 날에 나왔고, 그 문서는 지금도 자사 CEO 가 지지한 계약을 참조하지 않는다.

같은 회의에서 Amodei 가 1 단계를 다시 설명한 것은, 이 페이지가 추적하는 접근 권한에 대해 어디에서든 기록된 가장 충실한 서술이다: 완성된 모델이 아니라 학습 파이프라인에 대한 "employee-like access" 를 갖는 평가자 — "desks, badges, company laptops, and a right to publish findings the lab cannot bury" (source). 마지막 구절이 바로 이 페이지가 두 창립 문서 모두에서 기록되지 않았다고 적어 온 발표권이며, 처음으로 분명하게 언급되었다 — 그것도 계약서가 아니라 연설에서, 그 의무를 지게 될 당사자에 의해.

지지는 계약이 아니다. OpenAI 는 여전히 평가자도, 가격도, 범위도, 일정도 명시하지 않았고, 읽은 자료 어디에도 그 지지가 약속을 수반한다는 서술이 없다. 이 모든 것에 대한 회원국의 반응은 어떤 패스에도 기록되어 있지 않다.

열린 문제

• 평가자가 평가받는 쪽의 돈을 받고, 발표문이 그것이 잘못이라고 말한다. Anthropic 은 Accenture 에 직접 자금을 대면서 같은 문서에서 업계가 자금 문제에 정착된 답이 없다고 인정한다 (source). 서한의 셋째 조항은 발견에 연동된 지급만 다루며, 이는 지급 자체보다 좁은 기준이다 — 그리고 여기서 읽은 어떤 제안도 돈이 대신 어디서 와야 하는지 말하지 않는다.
• 공표된 원칙은 계약이 아니다. OpenAI 의 문서는 우선순위와 절차를 약속하면서 평가자도, 계약도, 금액도, 날짜도 밝히지 않는다. 그런 것이 생기기 전까지 위 항목은 의향 표명이며, 이 페이지는 그것을 메커니즘의 두 번째 사례가 아니라 의향 표명으로 기록한다.
• 아무도 서로를 인용하지 않는다. Anthropic 의 계약 (2026-09-18), 연구자 100 명 이상의 AEF 서한 (2026-09-18), OpenAI 의 원칙 (2026-09-22) 이 같은 주제로 닷새 안에 도착했는데, 읽은 범위에서 어느 하나도 다른 하나를 어느 방향으로도 언급하지 않는다. 이는 이 위키가 한 질문을 두고 인용 없이 논쟁하는 당사자들을 기록한 세 번째 연속 주다 — 이 패턴은 2026-09-21 Frontier Pacing 에서 처음 기록됐다.
• 공표 권리가 메커니즘의 전부인데 두 문서 모두에 기록돼 있지 않다. 공표할 수 없는 평가자는 고용주가 바깥에 있는 내부 준법 부서이고, 한 패스가 제기하는 반론이 정확히 그것이다. Amodei 의 에세이는 그 권리를 부여했고, 읽은 대로의 Accenture 발표는 그것을 언급하지 않으며, OpenAI 의 원칙은 "투명성과 기밀성의 균형을 맞추는 책임 있는 공표"를 이름 붙이면서 그 균형이 어디에 놓이는지 누가 결정하는지는 말하지 않는다 (source). 이제 두 랩이 이 문제에 대해 썼고, 어느 쪽도 그 결정권을 내놓지 않았다.
• 선정이 일방적이다. 평가받는 회사가 자기 평가자를 고르고, 접근 범위를 정하고, 결론을 무시할 자유가 있다. 읽은 어떤 문서도 그 셋 중 무엇도 제약하지 않는다.
• 기준이 없으므로 두 계약을 비교할 수도, 어느 하나가 미달했다고 판정할 수도 없다. AI Evaluator Forum (AEF) 의 AEF-1 이 유일한 공표된 후보이고, 이 위키는 어떤 랩이 그것에 서명했는지 확인할 수 없다 — Frontier Pacing 의 ## 상충 보고 절을 보라.
• 법적 보호가 없다. 서한은 평가자에게 "독립성, 자원, 법적 보호" 가 부족하다고 밝힌다. 이 위키가 담고 있는 어디에도 평가자를 위한 내부고발자 보호, 안전항, 면책은 등장하지 않는다.
• 네 랩 중 셋은 아무것도 약속하지 않았다. Altman 은 2026-09-13 답변으로 1 단계를 채택했고, Hassabis 는 대신 표준 기구를 요구했으며, Musk 는 방향에 동의했고, Suleyman 은 평가자가 "진정한 제 3 자" 일 것을 조건으로 지지했다. 계약이 있는 곳은 Anthropic 뿐이고, Altman 의 서약에는 상대방이 없다 (source).

주요 논문

없다. 이 개념에는 문헌이 없다 — 이 페이지의 모든 문서가 기업 발표문이거나 에세이이거나 서한이다. 그 자체가 기록할 만하다: 프런티어 안전 주장을 검증하겠다고 제안된 메커니즘이 2026-09-20 기준으로 공표된 방법론도, 자체 실효성 평가도, 누군가 정리해 둔 선례도 갖고 있지 않다.

관련 개념

• Frontier Pacing — 이 메커니즘이 그 1 단계인 논증
• Eval Environment Containment — 일상적 자체 모니터링이 잡아내지 못한 것을 입증하는 아홉 건의 기록
• AI Governance — 입법 트랙
• Preparedness Framework — embedded evaluation 이 점검하겠다고 제안된 사내 수단
• AI Evaluator Forum (AEF) — 서한을 조직한 컨소시엄
• Anthropic · OpenAI · Google DeepMind