Zyphra, 희소 어텐션 기술로 초장문 처리 속도 최대 35배 향상
"AI 초장문 처리 속도 최대 35배 높인다"…자이프라, 새 어텐션 기술 공개
- 매체
- AI타임스
- 게시
- 중요도
- 3/5
- 화제 지수
- —
한국어 요약
Zyphra가 초장문 문맥 처리 속도를 높이는 '자이프라 계층적 어텐션(ZHA)' 기술을 공개했다. 정보를 계층적으로 정리해 필요한 부분만 검색하는 방식으로, 1000만 토큰 문맥에서 기존 일반 어텐션 대비 최대 35배 빠른 처리 속도를 달성할 수 있다.
원문 발췌 · English
미국 AI 스타트업 자이프라(Zyphra)가 초장문 문맥 처리 속도를 크게 높일 수 있는 새로운 희소 어텐션 기술을 공개했다. 문서 전체를 검색하는 대신 정보를 계층적으로 정리한 뒤 필요한 부분만 찾아가는 방식으로, 1000만 토큰 문맥에서 기존 일반 어텐션보다 최대 35배 빠른 처리 속도를 낼 수 있다는 예측 결과를 제시했다.자이프라는 2일(현지시간) 기존 트랜스포머의 연산 부담을 줄이기 위해 개발한 '자이프라 계층적 어텐션(ZHA·Zyphra Hierarchical Attention)' 기술을 아카이브(arXiv)를 통해 공개했