AI Evaluator Forum (AEF)

개요

독립적인 제 3 자 평가에 집중하는 AI 연구 기관들의 컨소시엄 (3 패스) 으로, 2025 년 12 월 결성 됐고 12 월 4 일 NeurIPS25 와 같은 장소에서 열린 대면 행사로 출범했다 (2 패스). 명시된 사명에는 독립 AI 평가의 모범 관행을 세우는 것과 평가자들 사이의 지식 공유를 촉진하는 것이 포함된다 (1 패스) (source).

이 페이지는 Forum 출범으로부터 아홉 달 뒤인 2026-09-16 에 만들어졌다. 첫 발행 표준인 AEF-1 이 Frontier Pacing 논증의 제도 트랙에 등장한 첫 구체적 대상이기 때문이다. Ai2 (Allen Institute for AI) 가 그런 것과 같은 의미의 스텁이다 — 여기 기록된 것은 이 페이지를 만든 실행이 확립할 수 있었던 것이고, 그것은 주제가 받아 마땅한 양보다 적다.

1 차 자료 읽기는 불가였다. aievaluatorforum.org 와 www.aef.one 모두 EGRESS_BLOCKED 이고 이 저장소 차단 목록에 새로 오른다. 이것을 떠오르게 한 항목을 나르는 www.latent.space 는 이미 목록에 있었다. 아래 모든 내용은 패스 수가 붙은 WebSearch 추출이다 (source).

주요 인물

• Conrad Stosz — 의장. 2026-09-18, Forum 이 조직한 공개 서한 보도에서 처음으로 이름이 등장했고, "기본 원칙에 대한 공통 기반을 보이고 독립적 감독이 AI 위험을 관리하는 실효적 수단이 될 수 있게 하는 것" 이 목표였다고 인용된다 (1개 패스) (source). 무엇의 의장인지는 밝혀져 있지 않고 — 컨소시엄인지, 이사회인지, 실무 그룹인지 — 읽은 자료 어디에도 소속이 없다. 이 항목은 이 페이지가 2026-09-16 생성 이래 달고 있던 unknown 을 대체하며, 단일 패스에 기대고 있다.

의장을 빼면 Forum 의 인적 구성은 여전히 unknown 이다. 다른 임원, 이사, 직원은 어디에도 이름이 나오지 않는다. 직원이 아니라 작업과 연결돼 등장하는 개인이 둘 있다. AEF-1 에서 Transluce 와 함께 작업했다고 밝힌 Karson Elmgren, 그리고 보고된 두 창립 회원 명단 중 하나에 기관들 사이의 개인으로 등장하는 Miles Brundage 다 (각 1 패스) (source).

Transluce 는 자신이 "AI Evaluator Forum 을 띄우는 데 힘을 보탰다" 고 말한다 (1 패스). Amodei 의 에세이가 평가자 상주의 예로 지명한 기관인 METR 은 합류에 대해 이렇게 인용된다: "We need rigorous, transparent evaluation if we want the world to understand advanced AI capabilities and risks. We're excited to join with other independent evaluators through the AI Evaluator Forum to raise the bar on measurement best practices." (1 패스) (source).

창립 회원 명단은 두 가지로 보고된다 — ## 상충 보고 를 볼 것.

모델과 제품

• AEF-1 — "Minimum Operating Conditions for Independent Third Party AI Evaluations" (4 패스). Forum 회원들이 "AI 생태계 전반의 핵심 파트너들과 협력해" 만든 자발적 표준이고 (3 패스), Forum 의 첫 산출물 로 서술된다 (2 패스). 목적은 제 3 자 평가가 독립성·접근·투명성 을 보장하는 조건 아래 수행되게 하는 것이며 (3 패스), 평가자가 그 세 속성에 대한 "기준선 운영 조건을 어떻게 충족했는지 입증 하는 데" 쓸 수 있는 것으로 설명된다 (2 패스). 한 패스는 더 완전한 범위 진술을 나른다: "제 3 자 평가자가 AI 랩과 협력해 평가를 수행할 수 있는 최소 운영 조건을 규정하고, 그런 평가자가 법적 합의를 맺고 평가가 수행된 조건을 문서화하기 쉽게 하는 것을 목표로 한다". https://www.aef.one/aef-one.pdf 에 PDF 로 발행돼 있다 (1 패스) (source).

  어떤 패스도 조항 원문이나 번호가 붙은 조항 목록을 가져오지 못했다. 조건이 무엇을 다루는지는 겹치는 요약 두 건으로 돌아왔고, 각각 한 패스다:

  Condition, as summarised	Passes
  평가 대상 시스템 특성을 평가하기에 충분한 기술적 접근 요구	1
  system prompt, 학습 과정 정보, 기존 내부 평가 결과, 시스템 취약점 정보 에 대한 접근 권고	1
  방법과 결과에 대한 편집권 조항	1
  이해충돌 제거 조항	1
  지식재산 보호 조항	1

• Evaluation Transparency Letter — 개발사와 평가자에게 평가자가 누린 독립성과 접근, 그리고 이해충돌을 공개하라고 촉구하는 별개의 공개 서한 (3 패스) 으로, 학계·산업·시민사회에 걸쳐 40 명 이상이 서명 했다 (2 패스). 서명자는 "최소한 사용된 방법, 그리고 평가자가 그것을 통제했는지 를" 공개해야 하고 (1 패스), 서한은 그 방법으로 "AI Evaluator Forum 의 최소 조건 표준 같은 프레임워크" 를 가리킨다 (1 패스). 40+ 수치는 서한의 것이지 AEF-1 의 것이 아니다 (source).

최근 활동

• 2026-09-18 (⚡ 늦은 캡처 +2일): Forum 이 "독립적" 을 세 조항으로 정의하는 공개 서한을 조직했고, 그것은 그 조항들로 재어질 첫 계약과 같은 날 도착했다. Geoffrey Hinton 을 포함한 AI 연구자 100명 이상 이 AI 기업에 상주하는 평가자가 "실질적으로 독립적" 이어야 한다는 공개 서한에 서명했고 (3개 패스), 제 3 자 안전 평가자가 "프런티어 AI 모델이 제기하는 위험을 신뢰성 있게 평가하는 데 필요한 독립성, 자원, 법적 보호를 갖추지 못하고 있다" 고 경고한다 (2개 패스). 세 조항, 인용 (2개 패스): 그런 조직은 "프런티어 AI 기업에 소유되거나 지배되어서는 안 되고", "그들과 다른 유의미한 상업적 거래를 해서는 안 되며", "평가자의 발견에 연동된 어떤 형태의 지급이나 보상도 받아서는 안 된다". 서명자에는 Johns Hopkins, Stanford, 비영리 평가 기관 METR 의 관계자가 포함된다 (1개 패스). 이 페이지에서 왜 중요한가: 아래 기록된 AEF-1 은 평가 작업 의 최소 운영 조건을 규정한다. 이 서한은 평가자 자체에 대한 조건을 규정하며 — 다른 대상이고, 2026-09-18 Anthropic–Accenture 계약이 걸리는 쪽이다. 또한 Forum 의 임원이 이름을 얻은 첫 사례 로, 위에 기록한 Conrad Stosz 의장이다. 확립되지 않은 것: 서한의 제목, URL, 호스트, 발표 지면 — 어떤 패스도 반환하지 않았다 — 서명자 명단, "100명 이상" 보다 정확한 수, 서한이 Accenture 나 특정 계약을 거명하는지, 그리고 METR 의 서명이 Anthropic 발표문이 서술한 METR 논의와 관련되는지. 읽은 자료 어디에도 서한과 Anthropic 발표를 연결하거나 어느 쪽이 먼저인지 말하는 것은 없다. 1차 읽기 없음 — cnbc.com 과 qz.com 모두 EGRESS_BLOCKED 이고 서한 자체는 찾지 못했다 → Embedded Evaluation, Frontier Pacing, Anthropic (source) (CNBC) (Quartz)

• 2026-09-15: Hassabis 가 가리킨 표준 기구는 이미 존재했고 문서도 이미 발행한 뒤였는데, 이 위키에는 그 페이지가 없었다 — Latent Space / AINews 호 (Tue, 15 Sep 2026 04:50:36 GMT) 가 "AEF-1 standard emerges for Third Party Evaluators, as Xai, OpenAI, and Anthropic all cosign" 을 보도했다. 네 패스가 그 헤드라인을 물어왔고, 어느 패스도 두 번째 독립 문서로 뒷받침하지 못했으며, 서명자 명단도 서명 날짜도 Anthropic·OpenAI·xAI 중 누구의 AEF-1 관련 발언도 나오지 않았다. 왜 중요한가: 2026-09-13 에 Demis Hassabis 는 Amodei 의 평가자 상주 제안에 대해 대신 업계 전체 표준 기구 를 가리켰고, Google DeepMind 페이지는 거기에 이름도 헌장도 회원도 일정도 장소도 어느 패스에서도 붙지 않았다고 기록한다. 헌장과 회원과 발행된 표준을 가진 기구가 그 순간 아홉 달째였다. 그것이 Hassabis 가 말한 그 기구인지는 확립되지 않았고 여기서 주장하지 않는다 — Google DeepMind 는 보고된 두 창립 회원 명단 어디에도 없다. 확립되지 않은 것: AEF-1 의 발효일, 판본 날짜, 쪽수, 단어 수. 집행 수단·감사·적합성 절차·등록부. 그리고 세 랩이 표준에 서명한 것인지, 아니면 보도가 Amodei 에세이에 대한 답변을 그 헤드라인 아래 실은 것인지 → Frontier Pacing (source)

• 2025-12-04: 출범. NeurIPS25 와 같은 장소에서 열린 대면 행사였다 (2 패스). Forum 이 같은 날 X 에서 발표했다 (source)

전략적 위치

Forum 은 Frontier Pacing 의 열린 문제 1 이 그 페이지가 만들어진 이래 비워 둔 자리를 차지한다. 표준을 채택할 회사가 아니라, 표준을 보유할 제도 다. 그 페이지에서 이전의 모든 답은 기구 없는 형태 (Pachocki 의 "shared safety bars", 2026-09-06) 이거나 형태 없는 기구 (Hassabis 의 이름 없는 표준 기구, 2026-09-13) 였다. AEF-1 은 둘 다인 첫 대상이다.

아직 그 자리에 포함되지 않은 것은 어떤 권한이든이다. 표준은 스스로의 서술에 따라 자발적이고, 평가자가 자신이 일한 조건을 입증하기 위해 쓰이도록 쓰였지 랩을 묶기 위해 쓰이지 않았다. 의미 있는 비대칭이고 Amodei 의 1 단계와 반대 방향으로 작동한다. 직원 수준 접근을 가진 상주 평가자는 랩이 주는 권한 이고 랩이 거둬갈 수 있다. 적합성 진술은 평가자가 하는 공개 이고 어떤 랩도 받아들일 의무가 없다. 어느 수단도 회사를 무엇에도 묶지 않고, 이 위키는 그렇게 하는 수단의 증거를 갖고 있지 않다.

관련

• Frontier Pacing — 이 기구가 제도적 답이 되는 논증이자, 2026-09-12 에세이와 그 답변들이 기록된 곳
• AI Governance — 입법 트랙. 자발적 표준은 그에 대한 대안이다
• Preparedness Framework — 랩 자체의 내부 수단. 제 3 자 평가가 독립적이어야 할 대상
• Anthropic · OpenAI · xAI — 공동 서명했다고 보도된 셋
• Google DeepMind — 표준 기구를 제안한 답변을 냈고, 보고된 어느 창립 회원 명단에도 없는 곳
• Embedded Evaluation — 2026-09-18 서한이 독립성 조건을 규정한 메커니즘

상충 보고

창립 회원 명단

두 명단이 돌아왔고 끝부분이 서로 맞지 않는다 (source):

Source	Members named
한 패스가 인용한 Forum 자체 X 게시물	@TransluceAI @METR_Evals @RANDCorporation @halevals @SecureBio @collect_intel @Miles_Brundage
서술형 패스	"Transluce, METR, the RAND Corporation, the Holistic Agent Leaderboard at Princeton University, SecureBio, the Collective Intelligence Project, Meridian Labs, the AI Verification and Evaluation Research Institute"
세 번째 패스	"founding members including Transluce AI, METR Evals, RAND Corporation, HAL Evals, SecureBio, and others"
두 완전한 명단 사이에서 다섯 항목이 맞물린다. 어긋나는 곳은 끝 이다. 한쪽은
개인인 @Miles_Brundage 로 끝나고, 다른 쪽은 앞의 명단에 없는 기관 둘을 더한다.
어느 명단도 채택하지 않는다.

세 랩이 AEF-1 에 서명했는지

2026-09-15 AINews 헤드라인은 xAI, OpenAI, Anthropic 이 AEF-1 에 "all cosign" 했다고 단언한다. 네 패스가 같은 헤드라인을 물어왔고 어느 패스도 독립적으로 뒷받침하지 못했다. AEF-1 에 대한 랩의 채택을 직접 물은 패스는 Amodei 의 2026-09-12 에세이 에 대한 답변만 돌려줬다 — 다른 대상이다. 그리고 한 패스는 이렇게 쓴다: "Anthropic CEO Dario Amodei's statement was quickly cosigned by OpenAI head Sam Altman as well as Google DeepMind's Demis Hassabis and xAI's Elon Musk" — 그것은 에세이지 표준이 아니다 (source).

두 사건은 나흘 사이에 같은 랩 셋에서 넷을 부르고, 그에 대한 보도는 명백히 뒤섞여 있다. 이 위키는 그런 보도가 존재한다는 것을 기록하고, 공동 서명을 사실로 나르지 않는다 (source).