AI Evaluator Forum (AEF)

개요

독립적인 제 3 자 평가에 집중하는 AI 연구 기관들의 컨소시엄 (3 패스) 으로, 2025 년 12 월 결성 됐고 12 월 4 일 NeurIPS25 와 같은 장소에서 열린 대면 행사로 출범했다 (2 패스). 명시된 사명에는 독립 AI 평가의 모범 관행을 세우는 것과 평가자들 사이의 지식 공유를 촉진하는 것이 포함된다 (1 패스) (source).

이 페이지는 Forum 출범으로부터 아홉 달 뒤인 2026-09-16 에 만들어졌다. 첫 발행 표준인 AEF-1 이 Frontier Pacing 논증의 제도 트랙에 등장한 첫 구체적 대상이기 때문이다. Ai2 (Allen Institute for AI) 가 그런 것과 같은 의미의 스텁이다 — 여기 기록된 것은 이 페이지를 만든 실행이 확립할 수 있었던 것이고, 그것은 주제가 받아 마땅한 양보다 적다.

1 차 자료 읽기는 불가였다. aievaluatorforum.org 와 www.aef.one 모두 EGRESS_BLOCKED 이고 이 저장소 차단 목록에 새로 오른다. 이것을 떠오르게 한 항목을 나르는 www.latent.space 는 이미 목록에 있었다. 아래 모든 내용은 패스 수가 붙은 WebSearch 추출이다 (source).

주요 인물

unknown — Forum 자체의 임원, 이사, 의장, 직원 중 읽은 자료에 이름이 나오는 사람은 없다. 직원이 아니라 작업과 연결돼 등장하는 개인이 둘 있다. AEF-1 에서 Transluce 와 함께 작업했다고 밝힌 Karson Elmgren, 그리고 보고된 두 창립 회원 명단 중 하나에 기관들 사이의 개인으로 등장하는 Miles Brundage 다 (각 1 패스) (source).

Transluce 는 자신이 "AI Evaluator Forum 을 띄우는 데 힘을 보탰다" 고 말한다 (1 패스). Amodei 의 에세이가 평가자 상주의 예로 지명한 기관인 METR 은 합류에 대해 이렇게 인용된다: "We need rigorous, transparent evaluation if we want the world to understand advanced AI capabilities and risks. We're excited to join with other independent evaluators through the AI Evaluator Forum to raise the bar on measurement best practices." (1 패스) (source).

창립 회원 명단은 두 가지로 보고된다 — ## 상충 보고 를 볼 것.

모델과 제품

• AEF-1 — "Minimum Operating Conditions for Independent Third Party AI Evaluations" (4 패스). Forum 회원들이 "AI 생태계 전반의 핵심 파트너들과 협력해" 만든 자발적 표준이고 (3 패스), Forum 의 첫 산출물 로 서술된다 (2 패스). 목적은 제 3 자 평가가 독립성·접근·투명성 을 보장하는 조건 아래 수행되게 하는 것이며 (3 패스), 평가자가 그 세 속성에 대한 "기준선 운영 조건을 어떻게 충족했는지 입증 하는 데" 쓸 수 있는 것으로 설명된다 (2 패스). 한 패스는 더 완전한 범위 진술을 나른다: "제 3 자 평가자가 AI 랩과 협력해 평가를 수행할 수 있는 최소 운영 조건을 규정하고, 그런 평가자가 법적 합의를 맺고 평가가 수행된 조건을 문서화하기 쉽게 하는 것을 목표로 한다". https://www.aef.one/aef-one.pdf 에 PDF 로 발행돼 있다 (1 패스) (source).

  어떤 패스도 조항 원문이나 번호가 붙은 조항 목록을 가져오지 못했다. 조건이 무엇을 다루는지는 겹치는 요약 두 건으로 돌아왔고, 각각 한 패스다:

  Condition, as summarised	Passes
  평가 대상 시스템 특성을 평가하기에 충분한 기술적 접근 요구	1
  system prompt, 학습 과정 정보, 기존 내부 평가 결과, 시스템 취약점 정보 에 대한 접근 권고	1
  방법과 결과에 대한 편집권 조항	1
  이해충돌 제거 조항	1
  지식재산 보호 조항	1

• Evaluation Transparency Letter — 개발사와 평가자에게 평가자가 누린 독립성과 접근, 그리고 이해충돌을 공개하라고 촉구하는 별개의 공개 서한 (3 패스) 으로, 학계·산업·시민사회에 걸쳐 40 명 이상이 서명 했다 (2 패스). 서명자는 "최소한 사용된 방법, 그리고 평가자가 그것을 통제했는지 를" 공개해야 하고 (1 패스), 서한은 그 방법으로 "AI Evaluator Forum 의 최소 조건 표준 같은 프레임워크" 를 가리킨다 (1 패스). 40+ 수치는 서한의 것이지 AEF-1 의 것이 아니다 (source).

최근 활동

• 2026-09-15: Hassabis 가 가리킨 표준 기구는 이미 존재했고 문서도 이미 발행한 뒤였는데, 이 위키에는 그 페이지가 없었다 — Latent Space / AINews 호 (Tue, 15 Sep 2026 04:50:36 GMT) 가 "AEF-1 standard emerges for Third Party Evaluators, as Xai, OpenAI, and Anthropic all cosign" 을 보도했다. 네 패스가 그 헤드라인을 물어왔고, 어느 패스도 두 번째 독립 문서로 뒷받침하지 못했으며, 서명자 명단도 서명 날짜도 Anthropic·OpenAI·xAI 중 누구의 AEF-1 관련 발언도 나오지 않았다. 왜 중요한가: 2026-09-13 에 Demis Hassabis 는 Amodei 의 평가자 상주 제안에 대해 대신 업계 전체 표준 기구 를 가리켰고, Google DeepMind 페이지는 거기에 이름도 헌장도 회원도 일정도 장소도 어느 패스에서도 붙지 않았다고 기록한다. 헌장과 회원과 발행된 표준을 가진 기구가 그 순간 아홉 달째였다. 그것이 Hassabis 가 말한 그 기구인지는 확립되지 않았고 여기서 주장하지 않는다 — Google DeepMind 는 보고된 두 창립 회원 명단 어디에도 없다. 확립되지 않은 것: AEF-1 의 발효일, 판본 날짜, 쪽수, 단어 수. 집행 수단·감사·적합성 절차·등록부. 그리고 세 랩이 표준에 서명한 것인지, 아니면 보도가 Amodei 에세이에 대한 답변을 그 헤드라인 아래 실은 것인지 → Frontier Pacing (source)

• 2025-12-04: 출범. NeurIPS25 와 같은 장소에서 열린 대면 행사였다 (2 패스). Forum 이 같은 날 X 에서 발표했다 (source)

전략적 위치

Forum 은 Frontier Pacing 의 열린 문제 1 이 그 페이지가 만들어진 이래 비워 둔 자리를 차지한다. 표준을 채택할 회사가 아니라, 표준을 보유할 제도 다. 그 페이지에서 이전의 모든 답은 기구 없는 형태 (Pachocki 의 "shared safety bars", 2026-09-06) 이거나 형태 없는 기구 (Hassabis 의 이름 없는 표준 기구, 2026-09-13) 였다. AEF-1 은 둘 다인 첫 대상이다.

아직 그 자리에 포함되지 않은 것은 어떤 권한이든이다. 표준은 스스로의 서술에 따라 자발적이고, 평가자가 자신이 일한 조건을 입증하기 위해 쓰이도록 쓰였지 랩을 묶기 위해 쓰이지 않았다. 의미 있는 비대칭이고 Amodei 의 1 단계와 반대 방향으로 작동한다. 직원 수준 접근을 가진 상주 평가자는 랩이 주는 권한 이고 랩이 거둬갈 수 있다. 적합성 진술은 평가자가 하는 공개 이고 어떤 랩도 받아들일 의무가 없다. 어느 수단도 회사를 무엇에도 묶지 않고, 이 위키는 그렇게 하는 수단의 증거를 갖고 있지 않다.

관련

• Frontier Pacing — 이 기구가 제도적 답이 되는 논증이자, 2026-09-12 에세이와 그 답변들이 기록된 곳
• AI Governance — 입법 트랙. 자발적 표준은 그에 대한 대안이다
• Preparedness Framework — 랩 자체의 내부 수단. 제 3 자 평가가 독립적이어야 할 대상
• Anthropic · OpenAI · xAI — 공동 서명했다고 보도된 셋
• Google DeepMind — 표준 기구를 제안한 답변을 냈고, 보고된 어느 창립 회원 명단에도 없는 곳

상충 보고

창립 회원 명단

두 명단이 돌아왔고 끝부분이 서로 맞지 않는다 (source):

Source	Members named
한 패스가 인용한 Forum 자체 X 게시물	@TransluceAI @METR_Evals @RANDCorporation @halevals @SecureBio @collect_intel @Miles_Brundage
서술형 패스	"Transluce, METR, the RAND Corporation, the Holistic Agent Leaderboard at Princeton University, SecureBio, the Collective Intelligence Project, Meridian Labs, the AI Verification and Evaluation Research Institute"
세 번째 패스	"founding members including Transluce AI, METR Evals, RAND Corporation, HAL Evals, SecureBio, and others"
두 완전한 명단 사이에서 다섯 항목이 맞물린다. 어긋나는 곳은 끝 이다. 한쪽은
개인인 @Miles_Brundage 로 끝나고, 다른 쪽은 앞의 명단에 없는 기관 둘을 더한다.
어느 명단도 채택하지 않는다.

세 랩이 AEF-1 에 서명했는지

2026-09-15 AINews 헤드라인은 xAI, OpenAI, Anthropic 이 AEF-1 에 "all cosign" 했다고 단언한다. 네 패스가 같은 헤드라인을 물어왔고 어느 패스도 독립적으로 뒷받침하지 못했다. AEF-1 에 대한 랩의 채택을 직접 물은 패스는 Amodei 의 2026-09-12 에세이 에 대한 답변만 돌려줬다 — 다른 대상이다. 그리고 한 패스는 이렇게 쓴다: "Anthropic CEO Dario Amodei's statement was quickly cosigned by OpenAI head Sam Altman as well as Google DeepMind's Demis Hassabis and xAI's Elon Musk" — 그것은 에세이지 표준이 아니다 (source).

두 사건은 나흘 사이에 같은 랩 셋에서 넷을 부르고, 그에 대한 보도는 명백히 뒤섞여 있다. 이 위키는 그런 보도가 존재한다는 것을 기록하고, 공동 서명을 사실로 나르지 않는다 (source).