칭화대학, SGLang 기반 LLM 에이전트 캐시 엔지니어링 서버 AKV 공개
Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang
- 매체
- MarkTechPost
- 게시
- 중요도
- 3/5
- 화제 지수
- —
한국어 요약
칭화대학 연구팀이 KV 캐시 관리 시스템 AKV를 오픈소스로 공개했다. 에이전트가 히스토리 요약 대신 KV 캐시를 재배치해 4개 벤치마크에서 평균 27.7% 비용을 절감했다.
원문 발췌 · English
Tsinghua researchers released AKV, an SGLang-based serving system for cache engineering. LLM agents drop and reposition KV cache instead of summarizing history, cutting average cost 27.7% across 4 agent benchmarks. The post Tsinghua AI Open-Sources AKV, a Cache Engineering Server for LLM Agents on SGLang appeared first on MarkTechPost.