Anthropic Claude, 자체 대화 감시로 유해 사용 78% 탐지
앤트로픽, '클로드' 자기 대화 감시 기술 도입…유해 사용 78% 탐지
- 매체
- AI타임스
- 게시
- 중요도
- 4/5
- 화제 지수
- —
한국어 요약
Anthropic이 Claude가 사용자와의 대화를 스스로 평가해 위험성을 판단하는 '자기 평가' 기술을 개발했다. 별도 모델 없이 답변 후 대화를 검토하며 추가 연산 비용은 2% 미만이다.
후속 보도
원문 발췌 · English
앤트로픽이 '클로드'가 이용자와 나눈 대화의 위험성을 스스로 평가하는 기술을 개발해 실제 서비스에 적용했다. 별도의 AI 모델을 동원하지 않고 클로드가 답변 직후 대화를 검토해 악용 가능성을 판단하는 방식이다. 기존 감시 체계가 놓친 대규모 사기와 불법적인 AI 모델 정보 추출 시도까지 찾아냈으며, 추가 연산 비용도 2% 미만으로 억제했다. 앤트로픽은 최근 공식 연구 블로그를 통해 '자기 평가(Self-Assessment)'라는 새로운 안전 감시 기술의 개발 및 운영 결과를 공개했다. 이 기술은 지난 6월 출시된 '클로드 페이블 5