AI Daybook
AI Daybook
오늘의 지면
논문연구·논문

Infrathon, 실시간 AI 인프라 최적화 에이전트 벤치마크 제시

Infrathon: Benchmarking Language Agents for Real-World, Long-Horizon AI Infra Optimization

매체
Hugging Face
게시
중요도
3/5
화제 지수
13

한국어 요약

장기 AI 인프라 최적화 작업에서 프론티어 에이전트의 성능을 평가하는 벤치마크 Infrathon을 제안했다. 6개 모델을 150회 실행해 총 1만 시간 이상의 GPU 시간으로 테스트한 결과, 에이전트가 발견한 솔루션이 인간이 설계한 기준선을 능가했으며(Claude Opus 5.5의 경우 KV 캐시 압축률 6.82%에서 19.86%로 향상), 평가 기간이 짧으면 최적화 이득과 모델 성능 변화를 놓칠 수 있음을 보였다.

원문 발췌 · English

In this work, we study whether frontier agent can continually improve real-world AI infrastructure over long horizons. We introduce Infrathon, a benchmark of diverse, long-horizon AI infrastructure optimization tasks across different levels. We evaluate six models across 150 runs with 24-hour budgets, totaling over 10,000 GPU-hours. Our results show that model rankings vary with the evaluation horizon, while 135 of the 150 runs achieve further improvements during the second half of their budgets. These findings indicate that shorter evaluations can overlook both optimization gains and changes in relative model performance. We also find agents can discover solutions that outperform human-designed baselines: Claude Opus 5.5 increases the mean KV-cache compression ratio from 6.82% with the human-designed Quant-VideoGen codec to 19.86%. Analysis of agent trajectories identifies task violations, unreliable testing, and premature completion as barriers to sustained improvement. Together, Our Infrathon framework provide resources for constructing long-horizon tasks, evaluating frontier agents, and discovering good infrastructure solutions.

#llm#agent#benchmark#infra
원문 기사 읽기
전체 보기 →