benchmark
페이지 40개
Flora (NVIDIA GEAR)
로봇 영상에 timestamped caption, outcome, dense, rubric reward를 다는 data engine. Astra급 품질에 약 125배 저렴 (프로젝트 페이지 통합)
↳ 9 physical-airobot-datasetGPT-6-Astra embodied 검증 (SenseNova 외)
벤치마크 12개, 실제 로봇 8대 평가. ICL과 10배 budget으로 포화 근접, 비용과 복구는 과제
↳ 8 physical-aibenchmarkRSS (Sun Yat-sen Univ.)
지시문 바꿔 쓰기 평균 손실(MCSI)과 지시문 없는 forward를 뺀 잔차 증폭(RAS)으로 VLA의 지시문 취약성을 줄인다. LIBERO-Plus 평균 90.0%
↳ 7 physical-aivlaGPT-6 Astra as Embodied Policies
추론 모델 GPT-6 Astra를 여섯 로봇 도메인에서 policy로 평가했다. navigation은 강하지만 접촉 조정과 보행이 약하다
↳ 10 physical-aimanipulationAgent-Ready Design Systems Index
design system 37개를 MCP, llms.txt, DTCG 등 다섯 신호로 채점한 감사. 최고 Carbon 4/5, 19개가 0점
↳ 5 design-systemagent-readyDo World Models Make Better Robots? (Survey)
로봇 평가 벤치마크 160개를 모아 world model과 VLA를 맞대결시키는 벤치마크가 11개뿐임을 보인 평가 서베이
↳ 10 physical-aiworld-modelSafe Embodied AI (Survey)
long-horizon manipulation 안전 문헌을 intervention locus와 evidence boundary 두 기준으로 재배치한 서베이
↳ 11 physical-aisafetyCua (repo)
에이전트에게 조작할 컴퓨터를 주는 MIT 스택. 데스크톱 드라이버, 클라우드 샌드박스, Apple Silicon VM, 컴퓨터 사용 특화 소형 모델, 벤치마크를 한 저장소에 모았다
↳ 7 computer-usedesktop-automationGenerative Physical AI 종합 서베이
RFM, VLA, LBM, DPM, WFM 다섯 계열로 GPAI를 분류하고 일곱 분야 배치 사례와 한계 9가지를 정리한다
↳ 11 physical-aivlaVLA-JEPA (ginwind, repo)
VLA-JEPA 공식 코드 저장소. starVLA 기반 학습 코드 일부와 LIBERO, LIBERO-Plus, SimplerEnv 평가 스크립트, 체크포인트 2종 사용법
↳ 9 physical-aivlaVLA-JEPA (USTC)
미래 프레임을 목표로만 쓰는 leakage-free 예측으로 사람 영상에서 latent action을 배우는 VLA. LIBERO-Plus 79.5%
↳ 19 physical-aivlaState of VLA Research at ICLR 2026
ICLR 2026 투고작 164편으로 본 VLA 정의, 벤치마크 해석 기준, 아홉 가지 연구 흐름과 frontier 격차
↳ 14 physical-aivlaGemini Robotics (Google DeepMind)
Gemini 2.0 기반 embodied reasoning VLM과 클라우드 backbone에 온보드 decoder를 붙인 VLA 기술 보고서
↳ 23 physical-aivlaLIBERO-Recover (DUT, Beta Infinity)
VLA와 WAM의 실제 실패 2,117건을 네 단계로 나눈 복구 벤치마크. LIBERO 90%대 모델 6종이 5.8%에서 34.0%에 그친다
↳ 23 physical-aibenchmarkReAcTree (ETRI, UST)
subgoal별 LLM agent를 BT식 control flow로 엮어 실행 중에 키우는 task planning. WAH-NL goal 성공률이 31%에서 61%로 올랐다
↳ 8 physical-aimanipulationHiVLA (HKU, Shanghai AI Lab)
VLM 계획과 DiT 제어를 subtask 문장 하나와 bounding box 하나로 잇는 계층형 manipulation 시스템
↳ 16 physical-aivlalong-horizon-papers (acensia, repo)
long-horizon 논문 52편을 LLM agent, VLM planning, VLA manipulation으로 나눈 큐레이션 저장소. VLA는 해결 방식별로 다섯 폴더로 나눈다
↳ 7 physical-aivlaCOIN (BIGAI, USTC)
환경을 건드려 정보를 얻고 계획을 고치는 interactive reasoning을 재는 manipulation 벤치마크. 과제 90개에서 사람은 40%, 최고 모델은 3.26%다
↳ 12 physical-aibenchmarkCortex (Shanghai AI Lab)
VLM 계획을 32개 skill primitive로 묶어 하위 VLA가 실행하는 dual-system VLA. 14단계 화학 실험 zero-shot 65% 성공
↳ 10 physical-aivlarobocasa (repo)
RoboCasa와 RoboCasa365 공식 구현으로 코드는 MIT, asset은 CC BY 4.0이다. 설치와 첫 실행까지만 담고 과제 목록과 학습 절차는 문서 사이트로 넘긴다
↳ 12 physical-aisimulatorRoboCasa (UT Austin, NVIDIA, RSS 2024)
주방 장면 120개와 과제 100종을 담은 로봇 시뮬레이션 프레임워크. 시뮬레이션 데이터로 실제 로봇 성능을 올렸다
↳ 20 physical-aisimulatorRoboCasa 프로젝트 페이지 (robocasa.ai)
논문 두 편과 코드, 문서, leaderboard 링크를 한 페이지에 모은 공식 홈. 프로젝트 현황을 확인하는 진입로로 쓴다
↳ 5 physical-aisimulatorRoboCasa365 (UT Austin, NVIDIA, ICLR 2026)
과제 365종과 2,200시간 데이터로 VLA 4종을 같은 조건에서 비교한 후속 벤치마크
↳ 14 physical-aibenchmarkGR-1 (bytedance, repo)
GR-1 논문의 공식 코드 저장소(Apache-2.0). CALVIN 평가 경로와 가중치만 공개하고 pre-training과 fine-tuning 코드는 없다
↳ 9 physical-aivlaMCP-Atlas
실제 MCP 서버 36개와 도구 220개 위 1,000개 task로 tool use를 재는 벤치마크. 최종 답의 원자 claim으로 채점하며 20개 모델 실패의 63.3%가 인지 계열이었다
↳ 5 mcptool-usebrowser-use (repo)
LLM이 Chrome DevTools Protocol로 Chromium을 직접 제어해 웹 과제를 수행하는 MIT 라이선스 Python 패키지. CLI 스킬과 라이브러리 두 경로를 제공한다
↳ 10 browser-agentscomputer-use-agentsAwesome-Dual-System-VLA (repo)
OpenHelix 저자들이 논문의 서베이 절을 옮겨 갱신하는 awesome 리스트. 배제 목록을 나란히 둬 판정 기준을 함께 보여 준다
↳ 19 physical-aivlaOpenHelix (Westlake Univ)
dual-system VLA의 짧은 서베이와 설계 요소별 ablation, 오픈소스 모델을 묶은 기술 보고서. dual-system에 판정 기준을 세웠다
↳ 27 physical-aivla물리를 이해하는 생성 모델과 월드 시뮬레이터 (9bow)
위 Liu 2025 서베이를 한글로 풀어 쓴 PyTorch KR 해설. 논문 페이지로 넘어가기 전 진입로로 쓴다
↳ 9 physical-aiworld-modelGenerative Physical AI in Vision: A Survey
생성 모델이 물리 법칙을 지키게 만드는 연구를 physics-aware generation이라는 이름으로 묶은 서베이
↳ 10 physical-aiworld-modelA Survey of Physical AI (ChatGPT → World Models → Embodied Agents)
LLM의 world knowledge에서 출발해 여섯 층 로드맵으로 문헌을 재배치한 preprint 서베이
↳ 29 physical-aivlaAn Anatomy of VLA Models (Survey)
285편을 인용한 VLA 서베이. perception, brain, action 3모듈로 해부하고 도전 과제 분석을 본문 절반에 둔다
↳ 27 physical-aivlaOSWorld
VM 위 Ubuntu에 369개 task와 실행 채점 스크립트를 둔 computer-use agent 벤치마크. 사람 72.36% 대 최고 12.24%, 실패 75% 이상이 클릭 좌표 오류
↳ 7 computer-use-agentsgui-agentsxlang-ai/OSWorld (repo)
OSWorld 논문 저자 조직의 환경과 벤치마크 저장소. desktop_env가 여섯 provider를 추상화하고, 2025년 OSWorld-Verified가 문제 수정과 AWS 병렬 평가(1시간 이내)를 더했다
↳ 5 computer-use-agentsbenchmarkAre We Ready For An Agent-Native Memory System?
에이전트 메모리를 표현, 추출, retrieval, 유지 네 모듈로 분해해 12개 시스템을 통합 벤치마크한 연구
↳ 8 agent-memorymemory-systemsA Comprehensive Survey on World Models for Embodied AI
로보틱스, 자율주행, 범용 비디오 세 분야의 world model을 공통 분류 기준으로 정리한 17페이지 서베이
↳ 26 physical-aiworld-modelOpenAI GPT-5.6 Sol/Terra/Luna 프리뷰
9bow의 한국어 소식 글. 세 티어 라인업과 네이밍 체계, max와 ultra 실행 모드, 벤치마크, Preparedness High 분류와 네 층 안전 스택, 정부 협의 배포를 전한다
↳ 6 openaigpt-5-6SkillOpt
skill 문서를 external state로 두고 edit budget과 held-out gate로 훈련하는 text-space optimizer. 52개 셀 전부 best 또는 tied-best
↳ 8 agent-skillsself-evolvingSkillOpt (repo)
agent skill 문서를 학습 대상 파라미터로 삼아 딥러닝 옵티마이저의 규율로 훈련하는 Microsoft 프레임워크. 가중치를 고정한 채 `best_skill.md` 한 장만 배포한다
↳ 11 agent-skillsself-evolvingWhy Do Multi-Agent LLM Systems Fail? (MAST)
7개 MAS의 1,642개 trace를 Grounded Theory로 분석해 14개 실패 모드와 3개 카테고리로 정리한 첫 MAS 실패 분류체계
↳ 17 multi-agentllm