Stanford·UC Berkeley, 토큰 게이팅으로 장문 맥락 처리 11.3배 가속화
Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster
- 매체
- MarkTechPost
- 게시
- 중요도
- 3/5
- 화제 지수
- —
한국어 요약
Stanford와 UC Berkeley 연구진이 TokenGate를 발표했다. 학습 가능한 토큰 가지치기 모듈로서 정확도 손실 없이 장문 맥락의 prefill 시간을 1.4배~11.3배 단축하고 피크 메모리를 1.5배~3.4배 감소시킨다.
원문 발췌 · English
Stanford and UC Berkeley researchers released TokenGate, a drop-in learned token pruning module for LLMs. It cuts long-context prefill time-to-first-token by 1.4x to 11.3x and peak memory by 1.5x to 3.4x without accuracy loss. The post Researchers from Stanford and UC Berkeley Introduce TokenGate: Token-Gated Attention Makes Long-Context Prefill Up to 11.3x Faster appeared first on MarkTechPost.