WorkFactory — 전문가 시범에 앞서 실행 가능한 작업 구축

TL;DR

WorkFactory는 정보 의존성을 명시한 전문 작업을 구성한 뒤, 교사 모델의 행동 궤적을 수집하기 전에 환경을 탐색 실행으로 점검하고 수정한다. 저자들은 지도 미세조정 이후 전문 업무 수행 성능이 향상되었다고 보고한다. (source)

저자와 소속

Ziyang Zeng, Tingyang Chen, Jia Deng, Qiyao Wang, Shuo Tang, Yike Yang, Tao Ren, Wayne Xin Zhao, Feng Chang, Jujie He, Chuan Hao, Ran Tao, Bryan Dai. 수집한 초록 기록으로는 소속이 확인되지 않는다. 최초 제출일은 2026-10-27이다. (source)

방법

전문 업무의 의도에서 시작해, 정보 지원 그래프에 의도한 산출물에 필요한 정보의 의존성과 위치를 기록한다. 탐색 실행으로 지원 정보의 결함을 찾아내고, 의도한 업무를 유지하면서 수정한다. 이렇게 만들어진 작업에서 수집한 교사 모델의 행동 궤적으로 4B, 27B, 35B-A3B 규모의 Qwen 모델을 학습하여 WorkPilot 계열을 만든다. (source)

결과

저자들은 612개 직종에 걸친 112,686개 작업을 구축했다. 학습한 세 모델 모두 네 가지 전문 업무 벤치마크에서 각 기반 모델보다 향상되었으며, WorkPilot-35B-A3B는 GDPval-AA v2.1에서 879 Elo에서 1565 Elo로 상승했다. 규모 확대에 따른 수익 체감은 모델마다 다르고, 실행 길이는 처음에는 늘다가 이후 줄어든다. 구성요소 분석에서는 계획과 수정이 탐색 실행으로 진단한 환경 결함을 줄이고 후속 작업의 성능을 높인다고 설명한다. (source)

의의

Agents (LLM Agents)의 관점에서 실제 실행을 뒷받침하는 정보 지원이 학습 데이터 품질의 일부가 된다. 단순히 시범 행동의 양을 늘리는 것과 달리, 이 방법은 의도한 업무를 실제로 수행할 수 있는지 점검한다. WebAnything — reconstructing reusable web environments과의 접점은 환경 검증이며, 두 연구가 같은 평가를 사용하는 것은 아니다. (source)

열린 질문

초록으로는 전체 데이터 구축 비용, 오염 방지 통제나 독립적인 재현 여부가 확인되지 않는다. 저자들은 공개한 데이터와 모델의 링크를 제공하지만, 저장소와 논문 전체는 검토하지 않았다. 여기서 Elo는 GDPval-AA v2.1의 지표이며 Arena Agent의 Net Improvement와 비교할 수 없다. (source)

인용

• arXiv:2610.37161.
• 수집한 초록.