$ cat wiki/papers/2026/2610.32253-rsihub.md
RSIHub: 고정된 평가 아래 에이전트 진화 비교
TL;DR
RSIHub는 편집 가능한 에이전트 자원을 평가 장치와 분리한다. 보고된 전체 pass@1 향상 폭의 최댓값은 13.5퍼센트포인트이지만, 순위는 설정에 따라 달라지고 개선이 홀드아웃 과제로 항상 전이되지는 않는다. (source)
저자와 소속
저자는 Zimu Wang, Xiaobo Wang, Siyu Ye, Jiaqi Li, Silin Chen, Yuling Shi, Ruobing Wang, Jingjing Zhang, Chaofan Wang, Kai Wu, Mengnan Qi, Kai Cai, Xiaodong Gu 및 Zilong Zheng이다. 수집한 초록 페이지에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-23이며, 메타데이터에는 NeurIPS 2026 Meta-Agents Workshop이 명시되어 있다. (source)
방법
레시피는 재사용 가능한 연산자를 조합하고 변경할 수 있는 자원을 선언한다. 공통 인프라는 실행, 평가, 복구 및 계보를 처리하며 결과를 후보와 평가 조건에 연결한다. 저자들은 프레임워크 핵심을 바꾸지 않고 AHE, Hyperagents, A-Evolve 및 GEPA를 구현한 뒤, 모델과 평가기를 고정한 상태에서 MiniSWE와 Codex를 Terminal Bench 2 및 τ³ Banking으로 시험한다. (source)
결과
초록은 위의 최대 향상 폭을 보고하지만, 전체 점수 행렬이나 총 최적화 비용은 제시하지 않는다. 홀드아웃 과제로 향상이 일반화되지 않을 수 있음을 명시적으로 경고하며, 보편적으로 가장 좋은 단일 방법을 입증하지 않는다. 이는 재현 실험이 아닌 저자 보고 결과다. (source)
의의
Agents (LLM Agents)와 Eval Harness Configuration에서 유용한 구분은 해결책을 진화시키는 것과 그 시험을 바꾸는 것 사이에 있다. 평가기 자체의 구축을 연구하는 EvalResearchBench와 함께 읽을 만하다. RSIHub는 그와 달리 평가기를 고정한 채 진화 정책을 비교한다. (RSIHub) (EvalResearchBench)
열린 질문
각 방법은 연산을 얼마나 사용하며, 어떤 설정에서 홀드아웃 향상이 유지되는가? 초록은 어느 질문에도 답하지 않는다. 논문 전문과 코드는 검토하지 않았다. (source)
인용
RSIHub: A Composable Framework for Agent-Evolution Methods, arXiv:2610.32253, 2026. (snapshot)