텐센트, 활성 파라미터 대비 5배 큰 모델 성능 달성하는 오픈소스 Hy3 공개
Tencent releases Hy3 open-source model that allegedly matches models up to five times its active size
- 매체
- The Decoder
- 게시
- 중요도
- 4/5
- 화제 지수
- —
한국어 요약
텐센트가 2,950억 파라미터 규모의 오픈소스 언어모델 Hy3를 공개했다. 혼합 전문가(MoE) 아키텍처를 기반으로 하며 실제 활성 파라미터는 210억 개에 불과하다. 텐센트는 Hy3가 자신의 5배 크기 모델과 동등한 성능을 내면서 환각률을 절반 수준인 5.4%로 낮췄다고 주장했다.
원문 발췌 · English
Tencent has released Hy3, an open-source language model with 295 billion parameters built on a mixture-of-experts architecture. Only 21 billion parameters are active at any given time. Tencent says Hy3 matches models two to five times its size while cutting its hallucination rate in half to 5.4 percent. The article Tencent releases Hy3 open-source model that allegedly matches models up to five times its active size appeared first on The Decoder.