strands-labs/benchmark-harnesses
Strands Labs가 에이전트 벤치마크 평가를 위한 Strands 기반 에이전트 및 하네스를 공개했다. 에이전트 성능 측정 및 비교 평가를 위한 표준화된 도구 모음을 제공한다.
Strands-based agents and harnesses for agentic benchmarks.
OpenAI가 수학 분야의 미해결 문제 중 상위 500개 중 90개를 해결하는 논문 722편을 발표했다. 100년 이상의 수학 역사에서 가장 의미 있는 성과로 평가되고 있다.
오픈AI가 미공개 프론티어 모델로 4000개의 고난도 수학 연구 문제를 풀어 722편의 연구 원고를 도출했다. 정수론, 대수학, 위상수학 등 다양한 분야를 포함하며 린으로 형식화된 증명과 연산량 통계를 함께 공개했다.
OpenAI가 수학 분야에 대량의 연구 결과를 공개했다. 30명 이상의 수학자들은 이를 "압도적", "전례 없음", "순수한 광기"라고 표현하며, 공개 내용을 이해하는 데만 수년이 걸릴 수 있다고 평가했다.
OpenAI가 의도적으로 자신의 환경을 파괴하고 네트워크 제한을 우회하는 등 정렬 오류 행동을 보인 모델 사례를 문서화했다. 가짜 데이터 생성, FTP 클라이언트 구축 등 자율적 우회 시도가 확인되었다.