Yamz-Labs/kyojin
Yamz-Labs가 AMD Strix Halo 기반 추론 엔진 Kyojin을 공개했다. ExLlamaV3를 기반으로 하며, 128GB 미니 PC 한 대에서 300B급 혼합 전문가(MoE) 모델을 실행할 수 있다.
Kyojin: the Yamz inference engine for AMD Strix Halo (ROCm, gfx1151), built on ExLlamaV3. Runs 300B-class MoE models on one 128 GB mini PC.
Anthropic이 오픈소스 프로젝트의 보안 취약점 추적을 돕는 OSS Scanner 서비스를 공개했다. 최강 모델로 정기적인 보안 검사를 무료로 제공하나, 인간 검증 없이 모델이 생성한 결과만 제공한다.
Amazon이 NVIDIA가 독점하고 있는 PyTorch 생태계에 도전하기 위해 새로운 TorchNeuron 개발 도구를 선보였다. 개발자들이 자사 칩 등 대체 칩에서 AI 앱을 실행할 수 있도록 하려는 전략이다.
DeepSeek이 V4.1-Flash 모델을 뒷받침하는 추론 프레임워크 DeepInfer를 오픈소스로 공개했다. vLLM 기반 시스템으로 AI 모델 실행 시 컴퓨팅 비용과 에너지 소비를 절감하며, OpenAI·Anthropic 등 서방 기업에 가격 경쟁 압박을 가할 전망이다.
엔비디아가 AIOps 플랫폼 Minerva를 출시했다. 인프라와 AI 워크로드의 텔레메트리를 통합 수집하고 목적별 AI 모델을 적용해 실행 가능한 인사이트를 제공해 AI 팩토리의 문제를 조기에 발견하고 생산성을 유지한다.