Ai2, MoE 학습 효율 2.7배 높인 올모 코어 3 공개
Ai2, MoE 학습 효율 2.7배 높인 오픈소스 프레임워크 '올모 코어 3' 공개
- 매체
- AI타임스
- 게시
- 중요도
- 4/5
- 화제 지수
- —
한국어 요약
Allen AI 연구소가 LLM 학습 효율을 개선한 오픈소스 프레임워크 올모 코어 3을 공개했다. 기존 시스템 대비 GPU당 처리량을 약 2.7배 향상시켰다.
원문 발췌 · English
AI 모델의 규모가 커질수록 학습에 필요한 GPU 자원과 비용이 늘어나는 가운데, 이를 해결하기 위한 오픈소스 기술 개발이 주목받고 있다. 모델의 성능뿐 아니라 제한된 컴퓨팅 자원으로 얼마나 효율적으로 학습할 수 있는지가 대규모 AI 개발의 핵심 과제로 떠오르고 있다. 앨런 AI 연구소(Ai2)는 최근 LLM 학습 효율을 높인 오픈소스 프레임워크 '올모 코어 3(Olmo-core 3)'를 공개했다.기존 학습 시스템을 재설계해 470억개 매개변수 규모의 모델에서 GPU당 처리량을 약 2.7배 높였다. 수조개 매개변수 규모의 모델까지