Anthropic, Message Threads로 긴 대화 첫 응답 시간 35% 단축
Anthropic's Message Threads cut time to first token by 35 percent for long conversations
- 매체
- The Decoder
- 게시
- 중요도
- 4/5
- 화제 지수
- —
한국어 요약
Anthropic이 Messages API에 Message Threads를 출시했다. 매 턴마다 전체 대화를 재전송하지 않고 변경 사항만 전송하도록 해, 50만~100만 토큰 구간에서 첫 토큰까지 시간을 약 35% 단축했다.
원문 발췌 · English
Anthropic released Message Threads for the Messages API. Instead of resending the entire conversation with every turn, agents now only transmit what's changed. For requests between 500,000 and one million tokens, time to first token drops by about 35 percent. The article Anthropic's Message Threads cut time to first token by 35 percent for long conversations appeared first on The Decoder.