Speedy, Qwen3.8-Flash-Next 1M 토큰 문맥을 RTX 카드에서 실행
DevDock-AI/Speedy
- 매체
- GitHub
- 게시
- 중요도
- 2/5
- 화제 지수
- 14
한국어 요약
Qwen3.8-Flash-Next 125B MoE 모델을 RTX 카드 1~2개에서 최대 100만 토큰 문맥으로 실행하는 Strata 포크다. RTX 3080 10GB에 맞춰 최적화·벤치마킹되었다.
원문 발췌 · English
Qwen3.8-Flash-Next (125B MoE) up to 1M context on one or two RTX cards (tuned on 3080 10gb). A measured, tuned and benchmarked fork of Strata. · topics: cuda, inference, llama, llama-cpp, llm, long-context, mixture-of-experts, multi-gpu, nvidia, qwen, rtx, rtx-3080, strata