LLM 가중치 0.05% 삭제로 미세조정 수준 성능 향상
AI 모델 가중치 0.05%만 삭제했더니…전체 미세조정 수준 성능 향상
- 매체
- AI타임스
- 게시
- 중요도
- 3/5
- 화제 지수
- —
한국어 요약
대형언어모델의 가중치를 재학습하지 않고 전체 0.05% 미만의 가중치를 선택적으로 제거하는 것만으로 수학 추론과 도구 사용 능력을 크게 높일 수 있다는 연구 결과가 나왔다. 뉴욕대학교와 캐나다 캘거리대학교 공동 연구진은 이 기법으로 기존 미세조정 방식과 비슷한 성능을 달성하면서도 저장 용량을 크게 줄이고 기존 능력을 유지할 수 있다고 발표했다.
원문 발췌 · English
대형언어모델(LLM)의 가중치를 새로 수정하지 않고 전체의 0.05%도 안 되는 가중치를 선택적으로 제거하는 것만으로 수학 추론과 도구 사용 능력을 크게 높일 수 있다는 연구 결과가 나왔다. 전체 가중치를 다시 조정하는 기존 방식과 비슷한 성능을 달성하면서도 학습 결과를 저장하는 데 필요한 용량을 크게 줄이고, 기존에 습득한 능력도 유지할 수 있다는 점에서 주목된다.뉴욕대학교(NYU)와 캐나다 캘거리대학교 공동 연구진은 지난 7일 공개한 논문 'LLM 후속학습에서 가중치 삭제의 놀라운 효과'를 통해 이 같은 결과를 발표했다. 논문은