역전파 없는 AI 학습, 10일 만에 4000배 속도 향상…1.76시간→1.6초
역전파 없는 AI 학습 실험, 열흘 만에 4000배 빨라져…1.76시간→1.6초
- 매체
- AI타임스
- 게시
- 중요도
- 3/5
- 화제 지수
- —
한국어 요약
역전파 없이 언어모델을 학습하는 오픈소스 프로젝트 '노이즈'에서 목표 성능 도달 시간이 10일 만에 1.76시간에서 1.6초로 단축됐다. 커뮤니티의 알고리즘 및 GPU 연산 최적화로 4000배 속도 향상을 달성했다.
원문 발췌 · English
역전파 없이 언어모델을 학습하는 공개 실험에서 목표 성능에 도달하는 시간이 열흘 만에 1.76시간에서 1.6초로 줄었다. 오픈소스 커뮤니티가 학습 알고리즘과 GPU 연산 방식을 개선한 결과다. 기존 역전파 학습과 속도를 비교한 수치는 아니지만, 새로운 학습 방식의 개선 가능성을 보여준 성과다.Q랩스(Q Labs)는 최근 오픈소스 프로젝트 ‘노이즈(Noise)’의 성과를 공개하며 초기 기록에서 약 4000배의 속도 향상을 이뤘다고 밝혔다.당시 실험은 매개변수 3770만개의 소형 GPT 모델을 대상으로, 파인웹(FineWeb) 데이터