$ cat wiki/concepts/content-provenance.md
콘텐츠 프로버넌스 (AI 출력 마킹)
정의
모델의 출력이 API 를 떠난 뒤에도 기계 생성물임을 식별할 수 있게 만드는 것. 두 가지 기법이 배포되어 있고, 둘은 같은 것이 아니다:
- 워터마킹 — 출력이 생성되는 동안 심어 넣는 통계적 신호로, 사람 눈에는 보이지 않고 대응하는 검출기에는 잡힌다. 콘텐츠 안에 실려 다니므로 복사·붙여넣기를 견딘다.
- 서명된 프로버넌스 메타데이터 — 파일에 붙는 암호학적 명세서로, 대개 C2PA 표준을 따른다. 검증 가능하고 변조가 드러나지만 그것은 메타데이터이므로, 메타데이터를 벗겨내는 모든 것이 이것도 벗겨낸다.
이 구분이 중요한 이유는 둘이 정반대 방향으로 실패하기 때문이다. 워터마크는 재게시를 견디고 패러프레이즈에 죽는다. C2PA 는 픽셀의 패러프레이즈를 견디고 스크린샷에 죽는다.
왜 중요한가
작동하는 기술이 없는 자리에 법적 의무가 먼저 생겼다. EU AI Act 제50조는 2026-08-02 부터 적용되며, AI 생성 출력이 기계로 검출 가능한 형태로 표시될 것을 요구한다 (Article 50 guide). 함께 읽은 보도에 따르면 제50조가 요구하는 네 가지 기준 — 유효성, 상호운용성, 견고성, 신뢰성 — 을 모두 충족하는 워터마킹 기술은 현재 하나도 없다 (source).
그 간극이 이 주제의 전부다. 이 항목 아래 랩들이 내놓는 것은 마감에 맞춘 최선의 시도이고, 정직한 쪽은 릴리스에서 그렇게 말한다.
이 위키에 한정해서 말하면, 마킹은 랩이 모델에 관해 공개해야 할 것이 아니라 모델 자체가 생성 시점에 하는 일을 바꾸는 최초의 거버넌스 요구사항이다. AI Governance 는 규칙을 추적하고, 이 페이지는 그 기제가 작동하는지를 추적한다.
현재 수준 (2026-10-01 기준)
워터마킹이 디지털 산출물을 떠나 실물 단백질에서 검증되었다. Google DeepMind가 2026-09-30 에 SynthID Bio 를 발표하며, SynthID 계열을 텍스트·이미지·오디오·비디오에서 AI 생성 생물학 데이터 — 단백질 서열과 예측된 3차 구조 — 로 확장했다 (source).
| 데이터 유형 | 워터마크를 심는 방식 |
|---|---|
| 단백질 서열 | 아미노산 선택을 미세하게 유도 |
| 예측 3차 구조 | 원자 좌표를 조정 |
| **이것을 이 페이지의 다른 모든 항목과 다르게 만드는 주장은, 그 서명이 합성된 실물 단백질 자체에서 | |
| 검증 가능하다는 것이다** — 파일도, 헤더도, 생성 로그도 아니다. 지금까지 이 위키가 보유한 모든 출처 | |
| 증명 기제는 표상에 표시를 남긴다. 이것은 물질로 이어진다. |
실험실 검증은 AlphaProteo 설계에 SynthID Bio가 적용된 ProteinMPNN 을 결합해 세 표적에 대해 수행되었다:
| 표적 | 보고된 결합체 친화도 |
|---|---|
| VEGF-A | subnanomolar |
| SARS-CoV-2 spike RBD | low nanomolar |
| PD-L1 | subnanomolar |
| 세 표적 모두에서 워터마크된 설계가 **hit rate, 결합 친화도, 자연 서열 다양성에서 워터마크되지 않은 | |
| 설계와 대등했다** — 두 검색 패스 모두 이를 **생물학적으로 기능하는 최초의 워터마크된 단백질 | |
| 결합체**로 보고한다. |
밝힌 목적은 워터마크가 무엇을 위한 것인지를 다시 규정한다. 이 페이지에서 워터마크는 누가 만들었는가에 답하는 출처 표시였다. SynthID Bio가 밝힌 두 용도는 DNA 합성 제공자가 AI 설계 위협을 스크리닝하도록 돕는 것과 PDB, UniProt, GenBank에 잘못 표기된 합성 항목이 들어가지 않게 하는 것 — 생물보안 통제와 데이터베이스 정합성 통제다. 앞의 것은 물리적 관문에서의 집행이며, 텍스트 워터마킹에는 그런 관문이 없었다.
기능 보존이 기술적 결과이고, 그래서 그것에 대해 신중해야 하는 이유이기도 하다. 결합 친화도를 바꾸는 워터마크는 쓸 수 없고, 바꾸지 않는 워터마크는 구성상 단백질이 알아채지 못하는 변화다. 읽은 자료에는 그것이 돌연변이, 유도 진화, 이후의 엔지니어링을 견디는지에 대한 언급이 없다 — 텍스트 워터마킹의 paraphrase 공격에 해당하는 것이고, 이 페이지는 그것을 올라 있는 모든 방식의 미해결 문제로 기록하고 있다.
이번 실행의 출처. 1차 출처는 읽지 못했다 — deepmind.google 이 EGRESS_BLOCKED 로
응답했고, 차단 호스트로 새로 기록했다. 합치하는 검색 패스 둘. 그중 하나가 인용한 심사
논문은 읽지 않았다: Function-preserving watermarking of AI-generated proteins, Nature,
s41586-026-10965-y.
읽은 자료에 없는 것: 라이선스, 가용성이나 접근 조건, 탐지의 위양성·위음성률, 그리고 이를 채택한 DNA 합성 제공자나 데이터베이스 파트너의 이름. 스크리닝하는 주체의 이름이 없는 스크리닝 통제는 역량이지, 아직 통제가 아니다.
현재 수준 (2026-09-27 기준)
실시간 생성 영상 모델 세 개가 이제 여기서 추적되며 셋의 프로비넌스 답이 서로 다르다. 나흘 안에 서로를 뒤따라 도착했고, 그것이 애초에 이 비교를 할 만하게 만든다.
| 모델 | 개발사 | 출력 | 프로비넌스 진술 |
|---|---|---|---|
| Gemini 3.8 Live | Google DeepMind | Live Avatar 영상 | 생성된 모든 프레임에 SynthID — 이름이 있고 공개된 방식 |
| Muse Realtime Avatar | Meta AI | 448×768, 25 fps, ~870 ms | 모든 출력에 AI 워터마크, "지연을 더하지 않고" — 기제는 이름 없음 |
| GWM Worlds 2 | Runway | 연속 720p, 24 fps, 48 kHz 오디오, 길이 제한 없음 | 어떤 종류도 없음 |
| Muse Realtime Avatar 가 달라진 부분이다. 2026-09-26 에 이 위키는 Meta 의 아바타 모델에 대해 워터마킹을 진술하는 자료를 읽지 못했다고 기록하고 그 공백을 Meta AI 에 적었다. 2026-09-27 에 세 패스가 모든 출력이 AI 로 워터마크된다고, 그것도 "지연을 더하지 않고" 이루어진다고 진술한다 (source). |
"지연을 더하지 않고" 가 붙들 만한 주장이고, 여기서는 검증할 수 없다. 870 ms 종단 예산 안에서 초당 25 프레임에 워터마크를 적용하는 것은 정지 이미지 워터마킹보다 어려운 엔지니어링 문제이며, "지연 추가 없음" 은 실제 결과이거나 반올림 주장이다. 읽은 자료 어디에도 기제가 진술되지 않는다 — 가시적인지, 비지각적인지, 암호학적으로 서명되는지, 표준에 기반하는지, 공개된 어떤 도구로 검출 가능한지. 따라서 이 행은 Meta 가 자기 출력이 표시된다고 말한다는 것을 기록하며, 그 표시가 다른 누군가에 의해 검사 가능하다는 것을 기록하지는 않는다 — 후자가 이 페이지가 추적하려 존재하는 속성이다.
Runway 행은 계속 불편해야 하는 쪽이다. GWM Worlds 2 는 길이 제한 없이 실시간으로 조종되는 포토리얼 영상과 오디오를 내보내면서 프로비넌스 진술이 전혀 없고, 다른 둘이 역량에서 따라가려는 바로 그 모델이다. Meta 자신의 비교 주장이 이긴 대상으로 지명하는 것이 Runway Characters 다.
결과를 갖는 제품 세부 하나를, 이 페이지가 통상 놓치는 종류라서 기록한다: Muse Realtime Avatar 의 출하 기본값은 만화다 — "Jolly", 크림색, "완전히 커스터마이즈 가능" — 반면 진술된 입력에는 "사진" 이 포함된다. 만화 기본값과 사진 입력은 한 기능 안의 서로 다른 위험면이고, 워터마크는 읽은 자료 중 둘을 동일하게 취급하는 유일한 것이다.
현재 수준 (2026-08-12 기준)
Anthropic, Claude 출력을 전 세계에서 마킹 (2026-08-11 발표, 2026-08-02 발효)
Anthropic 은 지원되는 Claude 모델의 출력에 기계 판독 가능한 마킹을 적용한다 (source) (TechCrunch):
- 텍스트: 생성된 텍스트에 직접 삽입되는 감지 불가능한 패턴으로, 복사·붙여넣기와 일부 편집을 견딜 것으로 기대된다
- 파일: 생성된 SVG, PNG, JPG 파일에 디지털 서명된 C2PA 프로버넌스 메타데이터
- 2026-08-02 이후 출시되는 새 Claude 모델에 모델 수준으로 적용된다. 이전 모델들은 EU AI Act 전환 기간 동안 작업 중이라고 설명된다
- EU 만이 아니라 전 세계에 적용되며, 대상 서피스는 Claude Platform (API), Claude, Claude Code, Claude Cowork, Claude Tag
한계는 Anthropic 이 직접 밝힌다: 마크가 검출되었다고 해서 Claude 가 그 콘텐츠를 만들었다는 결정적 증거는 아니며, 마크가 없다고 해서 AI 가 개입하지 않았다는 보장도 되지 않는다. 크게 편집되었거나, 패러프레이즈되었거나, 번역되었거나, 다른 글과 섞였거나, 너무 짧은 텍스트에서는 검출이 실패할 수 있다 (source) (The Register).
벤더를 가로지르는 계층으로서의 SynthID
Google 은 SynthID 텍스트 워터마킹을 오픈소스로 공개했고, 상호운용 가능한 마킹을 위해 Apple, ElevenLabs, Kakao, NVIDIA, OpenAI 와 협력하고 있다 (source) (GCN). SynthID 오디오는 2026-08-01 기준 ChatGPT Voice 와 OpenAI API 를 통한 GPT-Live 출력 전체에 심어져 있다고 보고된다 (source).
즉 모달리티별 배포 순서는 오디오와 이미지가 먼저, 텍스트가 마지막이다. 텍스트가 가장 어렵고 아직 대규모로 배포되지 않았다고 보고된다 (source).
EU 실천 규약은 자발적이다
AI 생성 콘텐츠 투명성에 관한 실천 규약(Code of Practice) 준수는 자발적이다. 서명하지 않는 제공자는 다른 방식으로 준수를 입증해야 하며 더 강한 감독을 받을 수 있다 (EC). 제50조의 의무는 자발적이지 않다. 그것을 충족하는 방법으로 지목된 경로가 자발적일 뿐이다.
열린 문제
- 패러프레이즈가 이를 무력화한다. 대표적인 워터마크 기법 세 가지에 대한 동료평가 전 평가는, 시험한 설정들에서 의미를 보존하는 패러프레이즈가 검출 가능한 마크를 거의 전부 제거했다고 보고했다. 일부 기준 테스트에서는 위음성이 이미 높았다 (source). 그 평가 자체는 여기서 읽지 못했다 — 확인해야 할 주장으로 기록하며, 확정된 결과로 두지 않는다.
- 코드는 사실상 마킹이 불가능하다. 프로그래밍 언어의 문법은 신호를 실을 동등한 대안이
있는 위치를 거의 남기지 않고,
prettier,black,gofmt를 한 번 돌리면 스타일이 결정론적으로 재작성된다 (The New Stack). 플래그십 서피스가 에이전트형 코딩 도구인 벤더에게는 뼈아픈 한계다. - 스트리밍이 기법의 폭을 좁힌다. 신호는 완성된 문단을 다시 쓰는 방식이 아니라 생성하는 동안 삽입되어야 한다 (The New Stack).
- 공개 검출기가 없다. 읽은 범위에서는 마킹된 모델의 명시된 목록도 없고, 제3자가 쓸 수 있는 검출기도 없다 (source). 랩 바깥의 누구도 확인할 수 없는 마크는 투명성 장치이기 이전에 컴플라이언스 산출물이며, 귀속 판단을 다시 질문받는 당사자의 손에 돌려놓는다.
- 마크는 저작이 아니라 처리를 증명한다. TechTimes 의 틀이고, Anthropic 자신의 단서를 옳게 읽은 것이다. 워터마크는 텍스트가 모델을 거쳤다고 말할 뿐, 모델이 그것을 썼다고도, 누가 프롬프트를 넣었는지도 말하지 않는다 (source).
- 포렌식 마크는 이미 통상 정책에서 증거로 쓰이고 있다 — 7월 21일 재무부의 디스틸레이션 건은 "중국 제품 안에 있는 미국 모델 워터마크"를 근거로 들었다 (AI Governance). 그것이 무엇을 가리켰는지, 제50조가 말하는 마킹과 같은 부류의 기제인지는 이 위키가 읽은 범위에서 미해결이다.
주요 논문
보유한 것이 없다. 이 페이지의 모든 내용은 벤더 문서, 규제, 언론 보도다. 위에서 언급한 패러프레이즈 견고성 평가가 명백한 공백이다 — 식별자와 함께 확인되면 여기에 들어와야 한다.
Referenced by
Sources
- sources/blogs/google-deepmind-2026-09-30-synthid-bio.md
- sources/blogs/anthropic-2026-08-11-claude-content-marking.md
- https://artificialintelligenceact.eu/transparency-rules-article-50/
- https://digital-strategy.ec.europa.eu/en/policies/code-practice-ai-generated-content
- sources/blogs/meta-2026-09-23-muse-realtime-avatar.md