$ cat wiki/papers/2026/2611.12304-evolving-infra.md
Evolving Infra: 에이전트에 적응하는 서빙
TL;DR
Evolving Infra는 변화하는 에이전트 작업 부하에 맞춰 연산 자원 배분과 KV 캐시 관리를 조정한다. 저자들은 시험한 구성에서 Dynamo보다 요청 지연 시간과 첫 토큰까지의 시간이 줄었다고 보고한다. (source)
저자와 소속
저자는 Hao Kang, Weili Xu, Ziyang Li, Zheng Du, Hanchen Li, Tian Xia, Song Bian, Tushar Krishna, Huizi Mao, Ion Stoica, Song Han이다. 검토한 초록 기록에서는 소속이 확인되지 않는다. (source)
방법
시스템은 연산 자원 배분과 KV 캐시 관리를 분리해 노드가 프리필과 디코드 사이를 전환할 수 있게 한다. 온라인 계획기는 작업 부하 구성에 따라 프리필/디코드 비율을 조정하며, 분산 KV 관리자는 에이전트의 컨텍스트 관리 신호를 활용해 캐시 퇴출과 전송을 결정한다. (source)
결과
저자들은 최대 256개의 GB300 GPU에서 GLM-5.2와 Kimi K2.6로 코딩, 수학, 컴퓨터 사용 작업을 수행했을 때 NVIDIA Dynamo 대비 평균 종단 간 요청 지연 시간과 P95 TTFT가 각각 최대 4.1× 및 14× 줄었다고 보고한다. 이는 서로 다른 지연 지표의 최대 보고값이며, 모든 상황에 적용되는 속도 향상이나 실측 금액 절감을 뜻하지 않는다. (source)
의의
해석: 에이전트의 컨텍스트 처리 행동을 서빙 의사결정에 활용할 수 있다는 점에서 Agents (LLM Agents)와 실행 중 자원 배분을 연결한다. 이 연구의 기여는 인프라 적응에 관한 것이며, 모델 추론 능력의 향상을 입증한 것은 아니다. (source)
열린 질문
검토한 초록만으로는 각 최대치가 어느 작업에서 나왔는지, 총비용 비교 결과가 어떤지, 더 작은 배포 환경에서 어떤 성능을 보이는지 알 수 없다. 전체 실험과 구현은 검토하거나 재현하지 않았다. (source)
인용
- arXiv:2611.12304, 최초 제출일은 2026-11-09이며, 검토한 개정판 v2의 날짜는 2026-11-12이다. (source)
- 저자가 연결한 구현은 실행하거나 독립적으로 평가하지 않았다. (source)