borhen68/TokenTamer
TokenTamer는 코드 컨텍스트를 실시간으로 압축하는 프록시 도구다. 모델이 필요한 정보는 유지하면서 LLM API 비용을 50~80% 줄일 수 있다.
A drop-in proxy that compresses bloated code context in real-time, cutting LLM API costs by 50–80% without losing what the model actually needs to know.
Anthropic이 오픈소스 프로젝트의 보안 취약점 추적을 돕는 OSS Scanner 서비스를 공개했다. 최강 모델로 정기적인 보안 검사를 무료로 제공하나, 인간 검증 없이 모델이 생성한 결과만 제공한다.
Amazon이 NVIDIA가 독점하고 있는 PyTorch 생태계에 도전하기 위해 새로운 TorchNeuron 개발 도구를 선보였다. 개발자들이 자사 칩 등 대체 칩에서 AI 앱을 실행할 수 있도록 하려는 전략이다.
DeepSeek이 V4.1-Flash 모델을 뒷받침하는 추론 프레임워크 DeepInfer를 오픈소스로 공개했다. vLLM 기반 시스템으로 AI 모델 실행 시 컴퓨팅 비용과 에너지 소비를 절감하며, OpenAI·Anthropic 등 서방 기업에 가격 경쟁 압박을 가할 전망이다.
엔비디아가 AIOps 플랫폼 Minerva를 출시했다. 인프라와 AI 워크로드의 텔레메트리를 통합 수집하고 목적별 AI 모델을 적용해 실행 가능한 인사이트를 제공해 AI 팩토리의 문제를 조기에 발견하고 생산성을 유지한다.