kimi-k3-in-c, 278조 파라미터 Kimi K3를 CPU 단일 기기에서 실행
FareedKhan-dev/kimi-k3-in-c
- 매체
- GitHub Trending
- 게시
- 중요도
- 2/5
- 화제 지수
- 61
한국어 요약
Kimi K3 278조 파라미터 모델을 단일 CPU에서 8.24 GB RAM으로 추론 실행하는 C99 구현이다. BLAS나 프레임워크, GPU 없이 완전히 독립적으로 동작하며, 이식 가능한 C 코드로 작성되었다.
원문 발췌 · English
A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU. · topics: avx2, c99, cpu-inference, deep-learning, from-scratch, inference-engine, kimi-k3, linear-attention, llm, llm-inference, machine-learning, memory-efficient, mixture-of-experts, moe, mxfp4, quantization, simd, systems-programming, transformer, zero-dependencies