AI Daybook
AI Daybook
오늘의 지면
저장소오픈소스·도구

ASpec, 추론 가속 모델 학습용 고처리량 프레임워크

inclusionAI/ASpec

매체
GitHub
게시
중요도
2/5
화제 지수
16

한국어 요약

추론 가속 모델을 학습하기 위한 고처리량 학습 프레임워크다. PyTorch와 SGLang을 지원하며 추론 성능 향상에 사용된다.

원문 발췌 · English

A high-throughput training framework for Speculative decoding models. · topics: dflash, dflash2, dspark, eagle3, eagle4, ling-3, ling-3-flash, llm, mooncake, pytorch, sglang, speculative-decoding

#llm#pytorch#speculative-decoding
원문 기사 읽기
전체 보기 →