AI Daybook
AI Daybook
오늘의 지면
에이전트

GPT-6 Astra도 실제 코딩 작업 73% 실패, 실제 벤치마크가 드러낸 격차

AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test

매체
The Decoder
게시
중요도
3/5
화제 지수
—

한국어 요약

알리바바가 실제 사용자 요청으로 개발한 코딩 에이전트 벤치마크 'Co-Design Bench'를 공개했다. 최고 성능 모델인 GPT-6 Astra도 작업의 26.4%만 완전히 해결했으며, 기존 벤치마크에서는 같은 모델들이 99% 이상을 기록해 성능 평가의 차이가 큼을 드러냈다.

원문 발췌 · English

Alibaba's new coding-agent benchmark, Co-Design Bench, tests AI agents on real user requests that already tripped them up in practice. Even GPT-6 Astra, the top performer, fully solves only 26.4 percent of tasks. On older benchmarks, the same models score above 99 percent. The article AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test appeared first on The Decoder.

#benchmark#평가#coding-agent
원문 기사 읽기
전체 보기 →