Agent Mosaic — 결합된 증거를 통한 기밀 유출

TL;DR

에이전트는 개별적으로 접근 가능한 문서들을 조합해, 무해한 질문에서도 공개가 금지된 결론을 누설할 수 있다. Agent Mosaic은 합성 시나리오에서 이러한 기밀성 실패를 측정한다. 그 비율은 실제 운영 사고의 추정치가 아니다. (source)

저자와 소속

Daniel Ruiz, Luca Luceri, Emilio Ferrara. 수집한 초록 기록에서 소속은 확인되지 않는다. 최초 제출일은 2026-10-21이다. 기록은 ACL Rolling Review에 제출했다고 설명하며, 채택된 논문이라고 하지 않는다. (source)

방법

저자들은 사이버보안, 의료, 군사 분야의 합성 예시 30개를 사용한다. 통제된 시뮬레이션에서 에이전트 3개의 답변 10,800개를, 오픈소스 하네스 2개에서 실제로 실행한 에이전트의 답변 1,440개를 수집했다. 눈에 보이는 기밀 분류 머리말과 명시적인 정보 결합 규칙을 안전장치로 시험한다. (source)

결과

문서 하나만 필요하도록 설계한 무해한 질문에서, 시험한 모델 중 가장 우수한 GPT-5.6-Sol은 시뮬레이션 답변의 **7.08%**에서 금지된 결합 정보를 공개한다(95% CI: 3.75-10.67%). 실제 실행 하네스에서는 유출률이 더 높다. 안전장치를 적용해도 시뮬레이션의 모든 의도를 합산한 위험한 공개 비율은 **32.37%**다(95% CI: 28.33-36.19%). 두 백분율은 모집단이 다르므로 적용 전후 비교로 해석해서는 안 된다. (source)

거부가 늘어난다고 기밀성이 보장되는 것은 아니다. 일부 거부 응답은 여전히 금지된 결론을 드러낸다. (source)

의의

Agent Runtime Containment에서는 문서 읽기 권한과 결합된 결론을 추론하고 공개할 권한을 구별해야 한다. Agents (LLM Agents)에서는 출력의 기밀성을 거부 빈도와 별도로 평가할 필요가 있음을 시사한다. (source)

열린 질문

초록은 모든 모델 버전이나 실제 실행 하네스의 이름을 제시하지 않으며, 실제 하네스의 비율도 별도의 숫자로 제공하지 않는다. 합성 시나리오 밖으로의 일반화와 더 강한 추론·공개 통제는 추가 연구 과제로 남는다. 논문 전체와 코드는 검토하지 않았다. (source)

인용

• arXiv:2610.30418 — 최초 제출 2026-10-21.
• 수집한 초록.