quantization
페이지 2개
REPO·2026
Magnitude (repo)
하드웨어를 프로파일링해 맞는 로컬 모델을 추천, 다운로드, 튜닝, 실행하고 Claude Code 등 harness 9종에 loopback API로 연결하는 오픈소스 추론 서버. Apache-2.0
↳ 8 local-inferenceinference-server
PAPER·2023
FSQ
VQ-VAE의 벡터 양자화를 차원별 bound와 반올림으로 바꾼 finite scalar quantization. 보조 손실 없이 codebook 사용률 약 100%, MaskGIT과 UViM에서 VQ와 대등
↳ 4 quantizationvq-vae