Tessera: 경량 LLM 증류 및 서빙 엔진 공개
zengxiao-he/tessera
- 매체
- GitHub
- 게시
- 중요도
- 3/5
- 화제 지수
- 8
한국어 요약
zengxiao-he가 LLM 증류 및 서빙을 위한 풀스택 엔진 Tessera를 공개했다. 커스텀 Triton/CUDA 커널, FSDP 증류, 페이징된 KV 연속 배칭, 추측적 디코딩, Rust 게이트웨이, JAX 오라클 등을 포함한다.
원문 발췌 · English
From teacher to tiles — a from-scratch LLM distillation & serving engine: custom Triton/CUDA kernels, FSDP distillation, paged-KV continuous batching, speculative decoding, a Rust gateway, a JAX oracle, and interpretability tooling.