샤오미, 1조 파라미터 모델을 상용 GPU에서 초당 1000토큰 이상 처리
Xiaomi MiMo and TileRT Push a 1-Trillion-Parameter Model Past 1000 Tokens Per Second on Commodity GPUs
- 매체
- MarkTechPost
- 게시
- 중요도
- 4/5
- 화제 지수
- —
한국어 요약
샤오미의 MiMo 팀이 TileRT와 함께 MiMo-V2.5-Pro-UltraSpeed 서빙 모드를 공개했다. 8개 GPU 단일 노드로 1조 파라미터 모델에서 초당 1000토큰 이상의 디코딩 속도를 달성했다.
원문 발췌 · English
Xiaomi's MiMo team, with TileRT, released MiMo-V2.5-Pro-UltraSpeed, a serving mode for the MiMo-V2.5-Pro model. It decodes over 1000 tokens per second on a 1-trillion-parameter model using a single 8-GPU commodity node. The post Xiaomi MiMo and TileRT Push a 1-Trillion-Parameter Model Past 1000 Tokens Per Second on Commodity GPUs appeared first on MarkTechPost.