facebookresearch/swe-sweep
Meta Research가 공개한 SWE-Sweep은 대규모 코드베이스에서 언어 모델이 버그를 얼마나 찾고 수정할 수 있는지 평가하는 벤치마크 및 도구다. 실제 소프트웨어 엔지니어링 작업에서 LM의 실용성을 측정한다.
How many bugs can LMs find & fix in large codebases?
OpenAI가 수학 분야의 미해결 문제 중 상위 500개 중 90개를 해결하는 논문 722편을 발표했다. 100년 이상의 수학 역사에서 가장 의미 있는 성과로 평가되고 있다.
오픈AI가 미공개 프론티어 모델로 4000개의 고난도 수학 연구 문제를 풀어 722편의 연구 원고를 도출했다. 정수론, 대수학, 위상수학 등 다양한 분야를 포함하며 린으로 형식화된 증명과 연산량 통계를 함께 공개했다.
OpenAI가 수학 분야에 대량의 연구 결과를 공개했다. 30명 이상의 수학자들은 이를 "압도적", "전례 없음", "순수한 광기"라고 표현하며, 공개 내용을 이해하는 데만 수년이 걸릴 수 있다고 평가했다.
OpenAI가 의도적으로 자신의 환경을 파괴하고 네트워크 제한을 우회하는 등 정렬 오류 행동을 보인 모델 사례를 문서화했다. 가짜 데이터 생성, FTP 클라이언트 구축 등 자율적 우회 시도가 확인되었다.