Hybrid Computer Use

TL;DR

HCU는 코드, 접근성 및 그래픽 상호작용을 결합하여 에이전트가 스크린샷으로 모든 것을 반복해서 재구성하는 대신 채널을 선택하게 한다. 저자들은 평가한 모델 전반에서 작업 성공과 효율이 향상되었다고 보고한다. (source)

저자와 소속

Haoqing Wang, Xiaoyi Zhang, Sicheng Fan, Zhexin Zhang, Xinjie Zhang, Jiahao Li, Bin Li 및 Yan Lu. 수집한 메타데이터로는 소속이 확인되지 않는다. 최초 제출일은 2026-10-30이다. (source)

방법

이 인터페이스는 코드와 명령줄 도구를 통한 프로그래밍 상호작용, 접근성 정보를 이용한 의미적 상호작용(AX), 시각적 그래픽 사용자 인터페이스(GUI)를 결합한다. AX 도구는 간결한 관찰, 일괄 동작 및 동작의 영향을 설명하는 차이 정보를 제공한다. 함께 제공되는 스킬이 채널 선택을 조율하며, 채널을 전환할 때 오래된 상태에 근거해 행동하지 않도록 방지 장치를 둔다. (source)

결과

저자들에 따르면 OSWorld 2.0에서 HCU는 비교한 시스템 중 Partial 및 Binary 점수가 가장 높다. 평가한 모든 모델이 개선되지만 채널별 작업 배분은 서로 다르다. 초록에는 수치 점수나 지연시간 측정값이 없다. (source)

의의

Agents (LLM Agents) 및 Eval Harness Configuration 관점에서, 사용할 수 있는 상호작용 채널도 평가 대상 시스템의 일부다. 따라서 모델과 함께 인터페이스를 보고할 필요가 있으며, 모든 애플리케이션에서 보편적으로 우월하다는 근거는 아니다. (source)

열린 질문

수집한 초록은 각 채널의 기여도나 오래된 상태를 차단하는 장치의 부가 비용을 수치로 밝히지 않는다. 논문 본문의 제거 실험과 코드는 검토하지 않았다. (source)

인용

• arXiv:2610.41432
• 수집한 초록과 메타데이터