A-RSI — 시험 점수를 사용하지 않는 학습 작업 갱신

TL;DR

A-RSI는 학습 경험을 언제 갱신할지와 그 정답을 어떻게 확립할지를 분리한다. 학습 동향을 바탕으로 멀티모달 작업 풀을 갱신하고, 모델의 다수결 레이블 대신 프로그램에서 도출한 기준 정답을 사용한다. (source)

저자와 소속

Yu Liu, Youxing Li, Yuedong Tan, Zhiwei Yang, Zihan Su, Hanqi Feng, Shaojie Zhang, Libin Liao, Zihao Wan, Chenxu Wu, Cong Cao, Fangfang Yuan, Yanbing Liu, Ziheng Chen, Pei Fu, Radu Timofte, Zongwei Wu, Nicu Sebe, Barnabas Poczos, Jian Luan. 수집한 초록 기록으로는 소속이 확인되지 않는다. 최초 제출일은 2026-10-28이다. (source)

방법

검증 또는 시험 점수를 참조하지 않고, 학습 로그의 보상 변동과 정확도를 바탕으로 현재 풀의 학습 신호가 약해질 때 갱신을 시작한다. 모델이 작성한 프로그램의 고정 라이브러리가 멀티모달 질문을 생성하고 정답을 도출한다. 저자들은 작업 생성 계약을 명시하고, 보상 및 갱신 규칙의 일부 속성을 자동으로 검증하며, 생성된 정답을 별도로 감사한다. 학습 루프는 외부 학습 예제나 사람이 작성한 정답 레이블을 사용하지 않는다. (source)

결과

저자들은 주요 열한 개 벤치마크 모음에서 새 작업 800개로 평균이 57.77에서 61.05로 높아졌다고 보고한다. 이는 보고된 평가 모음의 평균이지 일반적인 성공률이나 무한한 재귀적 개선의 근거가 아니다. (source)

의의

Agentic Reinforcement Learning의 관점에서 경험 갱신과 학습 신호의 검증은 서로 다른 책임이다. 이는 RSIHub: comparing agent evolution under fixed evaluation를 보완한다. 변화하는 학습 과정에도 직접 최적화 대상으로 삼지 않는 평가 경계가 필요하다. (source)

열린 질문

초록에는 평가한 기반 모델의 이름, 전체 연산량 또는 정답 감사의 포괄 범위가 명시되지 않는다. “데이터 없음”은 설명된 학습 루프에 관한 표현이며, 모델 사전학습이나 사람이 설계한 작업 계약까지 없다는 뜻은 아니다. 논문 전체의 세부 내용과 독립적인 재현 결과는 검토하지 않았다. (source)

인용

• arXiv:2610.38568.
• 수집한 초록.