[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
DeepSeek이 일일 클러스터당 155조 토큰을 처리하는 오픈소스 추론 인프라 'DeepSeek DeepInfer'를 공개했다. 약 80% 마진율로 월 2,200만 달러 수익을 생성하는 수준의 효율성을 달성했다.
An open source “bomb” drops from China
Anthropic이 오픈소스 프로젝트의 보안 취약점 추적을 돕는 OSS Scanner 서비스를 공개했다. 최강 모델로 정기적인 보안 검사를 무료로 제공하나, 인간 검증 없이 모델이 생성한 결과만 제공한다.
Amazon이 NVIDIA가 독점하고 있는 PyTorch 생태계에 도전하기 위해 새로운 TorchNeuron 개발 도구를 선보였다. 개발자들이 자사 칩 등 대체 칩에서 AI 앱을 실행할 수 있도록 하려는 전략이다.
DeepSeek이 V4.1-Flash 모델을 뒷받침하는 추론 프레임워크 DeepInfer를 오픈소스로 공개했다. vLLM 기반 시스템으로 AI 모델 실행 시 컴퓨팅 비용과 에너지 소비를 절감하며, OpenAI·Anthropic 등 서방 기업에 가격 경쟁 압박을 가할 전망이다.
엔비디아가 AIOps 플랫폼 Minerva를 출시했다. 인프라와 AI 워크로드의 텔레메트리를 통합 수집하고 목적별 AI 모델을 적용해 실행 가능한 인사이트를 제공해 AI 팩토리의 문제를 조기에 발견하고 생산성을 유지한다.