ASpec, 추론 가속 모델 학습용 고처리량 프레임워크
inclusionAI/ASpec
- 매체
- GitHub
- 게시
- 중요도
- 2/5
- 화제 지수
- 16
한국어 요약
추론 가속 모델을 학습하기 위한 고처리량 학습 프레임워크다. PyTorch와 SGLang을 지원하며 추론 성능 향상에 사용된다.
원문 발췌 · English
A high-throughput training framework for Speculative decoding models. · topics: dflash, dflash2, dspark, eagle3, eagle4, ling-3, ling-3-flash, llm, mooncake, pytorch, sglang, speculative-decoding