FlashML-org/FreeToken
데이터센터 규모의 모델 서빙을 데스크톱으로 가져오는 도구다. DeepSeek, Qwen, GLM 등 대규모 모델을 로컬에서 빠르고 효율적으로 실행할 수 있다.
FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently. · topics: deepseek-v4, edge, glm, inference, minimax, moe, qwen, transformer
Anthropic이 오픈소스 프로젝트의 보안 취약점 추적을 돕는 OSS Scanner 서비스를 공개했다. 최강 모델로 정기적인 보안 검사를 무료로 제공하나, 인간 검증 없이 모델이 생성한 결과만 제공한다.
Amazon이 NVIDIA가 독점하고 있는 PyTorch 생태계에 도전하기 위해 새로운 TorchNeuron 개발 도구를 선보였다. 개발자들이 자사 칩 등 대체 칩에서 AI 앱을 실행할 수 있도록 하려는 전략이다.
DeepSeek이 V4.1-Flash 모델을 뒷받침하는 추론 프레임워크 DeepInfer를 오픈소스로 공개했다. vLLM 기반 시스템으로 AI 모델 실행 시 컴퓨팅 비용과 에너지 소비를 절감하며, OpenAI·Anthropic 등 서방 기업에 가격 경쟁 압박을 가할 전망이다.
엔비디아가 AIOps 플랫폼 Minerva를 출시했다. 인프라와 AI 워크로드의 텔레메트리를 통합 수집하고 목적별 AI 모델을 적용해 실행 가능한 인사이트를 제공해 AI 팩토리의 문제를 조기에 발견하고 생산성을 유지한다.