MegaCapybara, Qwen 3.8-27B 최고속 추론 엔진 공개
perkel666/MegaCapybara
- 매체
- GitHub
- 게시
- 중요도
- 2/5
- 화제 지수
- 13
한국어 요약
perkel666가 NVIDIA RTX 5090에서 Qwen 3.8-27B 모델을 위한 고속 추론 엔진 MegaCapybara를 공개했다. 단일 에이전트당 최대 500 토큰/초, 다중 에이전트 시 최대 2,000 토큰/초의 처리 속도를 지원하며 100만 토큰까지의 컨텍스트를 처리할 수 있다.
원문 발췌 · English
The fastest inference engine for Qwen3.8-27B on the NVIDIA RTX 5090: up to 500 tokens/s for one agent and up to 2,000 tokens/s for many, contexts up to 1M tokens, and a launcher that shows what every setting costs. Windows and Linux.