$ cat wiki/papers/2026/2610.34735-iprefbench.md
iPrefBench: 언제 추론하고 언제 물어야 하는가
TL;DR
iPrefBench는 과제 완료와 필요한 사용자 상호작용을 모두 기준으로 개인화된 모바일 에이전트를 평가한다. 행동 완료율이 높아도 특정 사용자의 요구사항을 충족했다는 뜻은 아니다. (source)
저자와 소속
저자는 Yuting Ning, Ruijia Cheng, Sushobhan Ghosh, Peitong Duan, HungShi Lin, Abhishek Sundararajan, Shreyash Pandey, Huan Sun, Jeffrey Nichols 및 Eldon Schoop이다. 수집한 초록 페이지에서는 소속을 확인할 수 없다. 최초 제출일은 2026-10-26이다. (source)
방법
실행 가능한 iOS 환경에서 상호작용형 모의 사용자를 과거 활동 3,051건이 담긴 일관된 페르소나와 결합한다. 26개 앱에 걸친 불충분하게 명시된 과제 130개를 포함한다. 생략된 각 사용자별 요구사항은 이력에서 추론할 수 있거나 질문해야만 얻을 수 있는 것으로 명확히 나뉜다. 평가는 개인화된 과제 완료와 사용자·에이전트 상호작용을 측정한다. (source)
결과
프런티어 에이전트 7개에서 보고된 행동 완료율은 최대 **91.6%**이지만, 전체 과제 성공률은 최대 **47.7%**에 그친다. 이는 서로 다른 지표의 최댓값으로, 반드시 같은 에이전트의 대응 점수인 것은 아니다. 에이전트들은 특히 질문해야만 알 수 있는 필수 정보를 요청하지 못한다. 이 결과는 초록에서 저자들이 보고한 것이다. (source)
의의
Agents (LLM Agents)와 Eval Harness Configuration 관점에서 개인화는 별도의 문체 취향이 아니라 성공의 일부다. 벤치마크 구성은 이력에서 얻을 수 있는 근거와 사용자 답변이 필요한 정보를 구분한다. (source)
열린 질문
하나의 구성된 페르소나가 실제 사용자를 얼마나 대표하는가? 결과가 모의 사용자 설정 밖으로 일반화되는가? 초록은 어느 쪽도 입증하지 않는다. 논문 전문, 데이터 및 코드는 검토하지 않았다. (source)
인용
iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents, arXiv:2610.34735, 2026. (source)