Google Cloud, llm-d 1.0 출시, TPU·GPU 최적화 라우팅 지원
Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets
- 매체
- MarkTechPost
- 게시
- 중요도
- 4/5
- 화제 지수
- —
한국어 요약
Google, Red Hat, IBM이 분산 LLM 추론용 Kubernetes 네이티브 오픈소스 스택 'llm-d 1.0'을 공개했다. 다중 테넌트 흐름 제어, 무중단 업그레이드, vLLM·SGLang·TPU·GPU 기반 에이전트 인식 라우팅을 지원한다.
원문 발췌 · English
Google, Red Hat and IBM released llm-d 1.0, an open-source Kubernetes-native stack for distributed LLM inference. It adds multi-tenant flow control, zero-downtime upgrades and agent-aware routing across vLLM, SGLang, TPUs and GPUs. The post Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets appeared first on MarkTechPost.