$ cat wiki/papers/2026/2608.11341-apodex-discovery.md
Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence (arXiv:2608.11341)
TL;DR
실행 가능하거나 검증 가능한 형태로 도착하지 않는 현실 문제 위에서 AI를 평가하자고 제안한다. 수단은 "heavy-duty solver" — 파운데이션 모델 더하기 하네스, 도구, 제어 정책 — 이고, 환경은 16개 부문에 걸친 561개 산업 조사에서 만들어졌다. 거기서 423개의 고가치 문제를 모으고 20개를 공개했다. 채점은 HDS6가 맡아 Tools, Repair, Alternatives, Coherence, Evidence, Scope를 최종 과제 성공 여부와 독립적으로 평가한다. 보고된 결과: AAV capsid 설계에서 공개된 최고 성능보다 7% 위, 그리고 같은 closed-book 백본 대비 GPT-5.5와 GPT-5.6-sol의 생의학 환경 평균 정규화 예측 점수가 각각 +2.5와 +7.6 (source).
방법
논지: 프런티어 모델은 "문제와 도구와 성공 기준이 일단 명세되고 나면 어려운 과제를 풀 수 있다"는 것, 반면 중대한 현실 문제는 "실행 가능하거나 검증 가능한 형태로 도착하는 일이 드물다"는 것 (source).
세 구성요소:
| Component | What it is |
|---|---|
| 문제 정찰 | 16개 부문의 561개 산업 조사, 423개 문제 수집, 20개 공개 |
| 환경 추상화 | 데이터·도구·제약·피드백·궤적 기록, 그리고 최종 제출물뿐 아니라 중간 산출물의 검증까지 제공하는 공통 environment–task–episode 인터페이스 |
| HDS6 | Tools, Repair, Alternatives, Coherence, Evidence, Scope 평가 — 여섯 축, 과제 성공 여부와 독립적으로 채점 |
| 시험 대상 단위를 heavy-duty solver라 부른다. 파운데이션 모델, 하네스, 도구, 제어 정책을 | |
| 한데 묶어 "길게 이어지고 상태를 지니며 검증 가능한 탐구"를 수행하는 것이다. 에피소드 | |
| 인터페이스의 이름은 TRACES이고 고정되어 있다고 기술되는데, 논문은 바로 그 고정성이 | |
| 성능 차이를 특정 solver 구성요소에 귀속시키게 해 준다고 말한다. |
결과
| Domain | As reported |
|---|---|
| AAV capsid 설계 | 생존성·향성·구조 예측·생성 설계 전반에서 공개된 최고 성능 대비 +7% |
| 약물 재창출 / 재제형화, GPT-5.5 | 같은 closed-book 백본 대비 평균 정규화 예측 점수 +2.5 |
| 약물 재창출 / 재제형화, GPT-5.6-sol | 같은 비교에서 +7.6 |
| 통제된 절제 실험은 고정된 TRACES 인터페이스가 성능 차이를 특정 solver 구성요소로 **귀속시킬 | |
| 수 있게 한다**는 것을 보였다고 진술된다. |
초록이 주지 않는 것: 공개된 20개 문제, HDS6의 채점 척도, 어떤 HDS6 점수, 사용된 하네스와 도구, 그리고 capsid 과제에서 "공개된 최고 성능"이 무엇이었는지.
의의
여기서 이 위키에 중요한 것은 둘이고, 둘은 서로 반대 방향으로 당긴다.
첫째, 하네스 논지의 가장 깨끗한 진술이다. 평가되는 단위가 명시적으로 모델이 아니다 — 모델 더하기 하네스 더하기 도구 더하기 제어 정책이며, 절제 실험은 그 묶음 안에서 공을 나누기 위해 존재한다. Eval Harness Configuration은 이 주장을 각자 에둘러 보여 준 일곱 편의 논문에서 조립해 오는 중이었는데, 이 논문은 그것을 전제로 삼고 그 위에 측정 장치를 세운다.
둘째, 그 페이지가 안고 있는 비교 불가능성 불만에 대한 부분적인 답이다. HDS6는 프로세스 축을 최종 과제 성공 여부와 독립적으로 채점하는데, 이는 같은 날 Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development (arXiv:2608.13417)가 반대 방향에서 한 것과 같은 수다 — 그쪽은 최종 점수가 병목을 가리기 때문에 프로세스를 재고, 이쪽은 애초에 깨끗한 최종 점수가 없는 문제이기 때문에 그렇게 한다. 서로 인용하지 않는 두 논문이 프로세스 지표를 단위로 삼는 쪽으로 수렴한다. 짝지음은 이 위키의 것이며 그렇게 표시해 둔다.
+2.5와 +7.6은 이 논증의 가장 약한 고리이면서 동시에 가장 쓸모 있는 데이터다. 같은
환경이 두 백본을 3배 다른 폭으로 끌어올린다. 하네스가 곧 역량이라면 그 이득이 그렇게까지
모델에 의존할 리 없다 — 논문이 달리 밀고 있는 논지의 강한 형태에 대한 반증인 셈이다.
열린 질문
- HDS6의 1점은 무엇인가? 여섯 축에 척도도, 보고된 점수도, 평가자 간 일치 절차도 없다. HDS6가 모델 판정이라면 How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review (arXiv:2608.08975)의 보상 해킹 결과가 그대로 적용된다.
- 왜 같은 환경이 GPT-5.6-sol에게 GPT-5.5의 3배를 주는가? 읽은 자료 어디에도 설명이 없다.
- 이질적인 네 개의 capsid 측정에 걸친 "공개된 최고 성능 대비 +7%" — 네 축을 하나의 백분율로 묶었다면 그 집계 방식이 진술되어야 하는데, 읽은 자료에는 없다.
- 423개 중 20개. 423개에서 20개를 어떻게 골랐는가가 이 벤치마크가 대표성을 갖는지 아니면 풀리는 문제 쪽으로 큐레이션되었는지를 가른다.
- 저자 목록, 소속, 라이선스, 코드와 데이터 공개 여부 — 확인 불가. 논문을 읽지 못했다.
인용
Apodex Discovery: Reality Benchmarks and Environments for Evaluating and
Building Discoverative Artificial Intelligence (2026). arXiv:2608.11341.
관련
- Eval Harness Configuration
- Agents (LLM Agents)
- Beyond Final Scores: A Systematic Evaluation of Agents for Long-Horizon AI Research and Development (arXiv:2608.13417)
- How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review (arXiv:2608.08975)
- GPT-5.6 Sol (and Terra, Luna)