$ cat wiki/papers/2026/2608.00677-openart.md
OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution (arXiv:2608.00677)
TL;DR
프롬프트가 아니라 환경을 레드팀한다. OpenART 는 50개 도메인에 걸친 1만 개 이상의 검증된 상태 보존 시나리오 아레나로, 공격의 단위는 에이전트가 지속적으로 머무는 실행 환경이다. 논거는 에이전트 리스크가 장기 워크플로에서 반복 수정·재사용되는 공유 상태를 통해 누적되며, 짧고 정적인 안전 벤치마크는 그것을 볼 수 없다는 것이다 (source).
저자와 소속
Yunhao Chen, Xin Wang, Yixu Wang, Yi Liu, Jie Li, Yan Teng, Xingjun Ma, Xia Hu, Yu-Gang Jiang — Fudan University, Shanghai Artificial Intelligence Laboratory, XSafeAI (source).
방법
개별 프롬프트나 과제가 아니라 환경이 레드팀의 기본 단위다. 시나리오는 50만 개 이상의 도구와 스킬 풀에서 구성되고, 과제당 도구 호출 중앙값 97회를 요구하며, 75개 에이전트-모델 구성에 대한 통합 평가를 지원한다 (source).
공격 방법의 이름은 Evolutionary Markov Hypergraph Attack (EMHA) 으로, "진화하는 공격
표면을 체계적으로 탐색하기 위해" 제안됐다
(source). 읽은 자료 어디에도
그 문구 이상으로 알고리즘을 설명한 대목은 없다 — arxiv.org 는 이 환경에서 차단되어
있고 PDF 는 열지 못했다.
결과
기록하지 않는다. 보지 못했기 때문이다. 초록 발췌가 담은 것은 규모 수치뿐이다. 공격 성공률도, 결과 표도, 다른 레드팀 벤치마크와의 비교도 없다 (source).
결과 절이 빈 논문 페이지가 여기서는 정직한 상태다. 규모 주장은 검색에 공개된 것이고, 발견은 이번 실행이 도달하지 못한 페치 뒤에 있다.
의의
오늘 이 위키가 평가할 수 있는 기여는 그 프레이밍이고, 그것은 이미 여기 열려 있는 논의 위에 내려앉는다. Eval Environment Containment 와 Eval Harness Configuration 은 같은 문제를 방어자 쪽에서 기록한다 — 에이전트의 행동은 (모델, 하네스, 환경) 삼중항의 속성이고, 모델만의 수치를 공개하는 것은 그 대부분을 가린다. OpenART 는 그것을 공격자의 전제로 삼는다. 상태가 리스크를 나른다면, 공격 대상은 상태다.
붙들어 둘 수치는 도구 호출 중앙값 97회다. 이 위키가 점수를 추적하는 모든 에이전트 벤치마크 — DeepSeek V4-Pro-0813 의 Terminal Bench 2.1, DeepSWE, CyberGym, DeepSeek V4-Flash 의 Toolathlon-Verified — 는 그보다 훨씬 짧은 지평이고, 그것이 바로 이 논문이 자신이 들어서는 분야에 대해 제기하는 불만이다.
또한 프런티어 벤더가 아니라 중국 학계 컨소시엄에서 나왔다. 이 위키가 보유한 안전 평가 (Preparedness Framework, AI Control Roadmap) 가 거의 전부 1차 당사자의 것인 시점에서다. 아레나가 공개되는지는 알 수 없고, 그것이 이 점을 바꿀지 결정하는 질문이다.
열린 질문
- 공개되는 것이 있는가? 아레나도, 1만 개 시나리오도, EMHA 도 공개 여부를 밝힌 자료를 읽지 못했다
- 무엇을 찾아냈는가? 어떤 모델에 대한 성공률도 보지 못했다
- 어떤 75개 구성인가? 프런티어 모델이 포함됐는지 명시되지 않았고, 그것이 이 벤치마크가 실제로 배포되는 에이전트를 재는지를 가른다
- 1만 개 시나리오를 어떻게 "검증"했는가? 절차 없이 단어만 등장한다
- 진화·생성된 환경이 실제 환경을 계속 대표하는지 — 개방형 벤치마크 생성에 대한 상시 반론