에이전트의 캐시 엔지니어링

TL;DR

AKV는 에이전트가 실행 경로를 다시 쓰거나 보존된 컨텍스트를 다시 사전 채움하지 않고 활성 KV 캐시 상태를 제어하게 한다. 저자들은 임계값에 도달하면 수행하는 요약과 비교해 비용이 낮아지고 벤치마크 점수가 높아졌다고 보고한다. (source)

저자와 소속

Tianyu Fu, Ruoxi Wang, Zihan Min, Zhongqi Ren, Zhihao Li, Tengxuan Liu, Shengxu Mu, Hanling Zhang, Yu Wang이 저자다. 최초 제출일은 2026-10-20이다. 초록 기록으로는 소속을 확인할 수 없다. (source)

방법

에이전트는 drop으로 선택한 캐시 항목을 이후 어텐션에서 제외하고, repos로 보존한 키의 위치 인코딩을 조정한다. 캐시 상태는 연산 순서에 따라 달라지므로 토큰 접두사가 같다는 사실만으로 올바른 재사용을 보장할 수 없다. AKV는 상태 없는 서빙 인터페이스를 노출하면서 내부에서는 상태를 유지하며 재사용, 퇴거와 복원을 관리한다. 저자들은 AKV 저장소를 링크한다. 논문 전문과 코드는 검토하지 않았다. (source)

결과

도구 응답을 순차적으로 제거하는 정책은 기존의 임계값 기반 요약보다 평균 벤치마크 점수를 1.7점 높이고 평균 비용을 27.7% 줄인다. AKV와 함께 사용했을 때 저자들은 최대 1.2× 출력 처리량과 P95 요청 지연 시간의 1.5× 속도 향상을 보고한다. 캐시 정책을 재귀적으로 개선하면 전문가 설계보다 비용을 추가로 7.1% 줄인다. 이 수치는 저자들이 보고한 별개의 비교이며 서로 더할 수 있는 절감률이 아니다. (source)

의의

Agents (LLM Agents) 관점에서는 활성 어텐션 상태가 명시적인 제어 대상이 된다. Eval Harness Configuration 관점에서는 이력 의존성 때문에 실행을 재현하려면 토큰 이력과 함께 캐시 연산의 의미도 필요하다. 텍스트 요약과 구별되는 이 작동 방식이 보고된 서빙 이점의 근거다. (source)

열린 질문

초록은 모든 벤치마크, 기반 모델, 하드웨어 구성이나 정책 탐색 비용을 명시하지 않는다. 따라서 보고된 속도 향상을 다른 환경에서도 얻을 수 있는지, 특정 워크로드 규모에서 정책 최적화 비용을 회수할 수 있는지는 입증하지 못한다. 독립적인 재현 결과는 검토하지 않았다. (source)

인용

• arXiv:2610.28577
• 보존한 초록과 메타데이터