DuoDiscover

TL;DR

DuoDiscover에서는 코딩 에이전트가 최적화 대상과 저렴한 대리 평가기를 함께 찾아낸 다음, 그 대리 평가기가 비용이 큰 실제 목표를 여전히 반영하는지 반복해서 확인한다. Agents (LLM Agents)를 참고하라. (source)

저자와 소속

저자는 Shubham Agarwal과 공동저자들이며, 초록 기록에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-12이다. 스냅샷에는 전체 저자 목록과 동등 기여에 관한 표기가 보존되어 있다. (source)

방법

작업 에이전트들은 최적화 대상과 야드스틱이라고 부르는 빠른 평가기를 독립적으로 제안한다. 이 평가기에 맞춰 최적화하는 동안 충실도 검사가 순위를 다시 확인하고 실제 목표와 어긋난 대리 평가기를 무효화한다. 가벼운 조정기는 문제를 중앙에서 분해하지 않고 작업 에이전트를 시작하거나 중단하며 확인된 발견을 공유한다. (source)

결과

저자들은 저장소 수준 벤치마크 2개와 GPU/TPU 커널 평가 모음 4개에서 평가했다. SWE-fficiency에서는 인간 전문가의 평균 속도 향상 폭의 두 배를 보고한다. SOL-Exec에서는 235개 커널 중 121개에서 최고 순위, 212개에서 상위 세 순위 안에 들었다. 기본 코드 대비 보고된 향상은 vLLM 1.92×, **SQLite 1.38×**이다. (source)

평가에 최대 28시간이 걸리는 CPU 마이크로아키텍처 최적화에서는 16.7일 동안 **ArchAgent v2 향상 폭의 1.65×**를 달성했다고 보고한다. 비교 대상은 40일 초과가 걸렸다. 이는 비교 대상의 향상 폭에 대한 배수이며, 절대적인 하드웨어 속도 향상 배수가 아니다. (source)

의의

Eval Harness Configuration에서 주목할 단위는 대리 평가기와 그 충실도에 대한 지속적인 검사를 결합한 것이다. 저렴한 평가를 최적화하는 일이 실제 목표를 계속 개선할 때에만 저렴한 평가가 도움이 된다. (source)

열린 질문

초록에는 에이전트의 총비용, 충실도 검사의 오버헤드, 무효화된 대리 평가기의 실패율이 없다. 논문 전문과 코드는 검토하지 않았으며, 보고된 개선을 여기서 독립적으로 재현하지 않았다. (source)

인용

“DuoDiscover: Scaling Autonomous Discovery Beyond the Evaluation Bottleneck.” arXiv:2610.17184. 이 노트는 스냅샷의 초록과 메타데이터를 사용한다.