manipulation
페이지 82개
πRL (Tsinghua, PKU 외)
flow 기반 VLA(π0, π0.5)를 Flow-Noise와 Flow-SDE로 online RL fine-tuning. 네 벤치마크 평균 약 30%p 향상
↳ 9 physical-aivlaGPT-6-Astra embodied 검증 (SenseNova 외)
벤치마크 12개, 실제 로봇 8대 평가. ICL과 10배 budget으로 포화 근접, 비용과 복구는 과제
↳ 8 physical-aibenchmarkHomeBody (Stanford TML)
학습된 VLA 없이 frontier VLM이 공간 메모리와 조합형 스킬로 Unitree G1을 조종해 처음 보는 주방을 정리한다. 프로젝트 페이지와 SIM 저장소 통합
↳ 10 physical-aihumanoidrobogym (Robominder, repo)
AI 에이전트가 HTTP로 MuJoCo 로봇을 제어하는 서버. 시뮬레이션이 실시간으로 계속 진행되며 SO-101 양팔 협업 환경 하나를 제공한다
↳ 7 physical-aisimulatorH-JEPA (NYU, AMI Labs)
level마다 자기 latent 공간에서 더 멀리 예측하는 계층 JEPA world model로 subgoal planning. AntMaze 18%에서 73%
↳ 6 physical-aiworld-modelRSS (Sun Yat-sen Univ.)
지시문 바꿔 쓰기 평균 손실(MCSI)과 지시문 없는 forward를 뺀 잔차 증폭(RAS)으로 VLA의 지시문 취약성을 줄인다. LIBERO-Plus 평균 90.0%
↳ 7 physical-aivlaLaRA-VLA (LoveJu1y, repo)
LaRA-VLA 공식 코드. StarVLA 기반 4단계 VLM 학습과 VLA 학습 스크립트, LIBERO와 SimplerEnv 평가, 데이터와 가중치 공개
↳ 5 physical-aivlaLaRA-VLA (XJTU, BAAI)
텍스트와 visual CoT를 3단계 curriculum으로 연속 latent에 내재화해 CoT 생성 없이 action을 낸다. LIBERO 97.9%, 지연 135 ms
↳ 10 physical-aivlaLaRA-VLA 프로젝트 페이지
논문 요약과 결과 그림에 실제 로봇 rollout 영상 8편(LaRA-VLA와 GR00T N1.5 각 4편)을 더한 소개 페이지
↳ 4 physical-aivlaGPT-6 Astra as Embodied Policies
추론 모델 GPT-6 Astra를 여섯 로봇 도메인에서 policy로 평가했다. navigation은 강하지만 접촉 조정과 보행이 약하다
↳ 10 physical-aimanipulationτ0-VLA (sii-research, repo)
τ0-VLA 공식 코드. low-level policy post-training과 serving, proposal model과 world model 추론, LIBERO 재현 레시피(평균 97.35%) 공개
↳ 6 physical-aivlaVLAct (starVLA, repo)
VLAct 공식 코드. multi-head framework, continued pre-training launcher, 벤치마크별 fine-tuning 스크립트와 Qwen3-VL-4B backbone 공개
↳ 8 physical-aivlaVLAct (StarVLA)
VLM 표현 보존, 세 연속 head 동시 지도, 부분 통합 action layout으로 재사용 가능한 VLA backbone을 학습한다
↳ 14 physical-aivlaKnowBody (Nanjing University, Ant Group)
가중치를 고정한 VLM에 질의 가능한 신체 기하 모델을 붙인 harness. 신체 추정을 고치면 그에 의존하던 경험 규칙을 다시 검증해 재사용한다
↳ 11 physical-aimanipulationFailSafe (NTU, A*STAR, AI2, UW)
ManiSkill에서 실패와 실행 가능한 7-DoF 회복 명령 13만 건을 자동 수집하는 파이프라인. VLA 3종 성공률을 최대 22.6%p 올린다
↳ 6 physical-aivlaRWM (Tsinghua IIIS)
시작과 목표 표현을 interpolation한 경로에 IDM 지도를 걸어 추론 시점 탐색 없이 planning하는 world model
↳ 6 physical-aiworld-modelSafe Embodied AI (Survey)
long-horizon manipulation 안전 문헌을 intervention locus와 evidence boundary 두 기준으로 재배치한 서베이
↳ 11 physical-aisafetyHuRo (RLWRLD, Yonsei)
사람 영상의 팔을 지우고 로봇을 합성하며 손 동작도 retargeting해 만든 63만 episode 데이터셋. 실제 과제 completion 51.5%에서 80.3%
↳ 10 physical-aivlaOne-Step Drifting Action Heads (GR00T N1.7)
action head를 단발 평가형으로 바꿔 45.3 ms를 5.0 ms로 줄였으나 LIBERO 성공률은 하락한 교환 관계 보고
↳ 9 physical-aivlaVLA-JEPA (USTC)
미래 프레임을 목표로만 쓰는 leakage-free 예측으로 사람 영상에서 latent action을 배우는 VLA. LIBERO-Plus 79.5%
↳ 19 physical-aivlaVLA-JEPA 프로젝트 페이지
VLA-JEPA 논문의 공식 페이지. 실제 Franka 로봇 시연 영상과 고해상도 도식, 논문 결과 표 4개를 싣는다
↳ 5 physical-aivlaOmniVLA-RL
세 expert MoT 구조와 SDE flow matching 위의 GSPO(Flow-GSPO)로 online RL하는 manipulation VLA. LIBERO 평균 97.6%
↳ 14 physical-aivlaGemini Robotics 2
humanoid whole-body control, dexterous manipulation, 다중 로봇 협업을 갖춘 Google DeepMind의 세 모델 발표문과 성공률 차트
↳ 11 physical-aivlaGR-3 (ByteDance Seed)
Qwen2.5-VL-3B에 flow matching DiT를 붙인 4B VLA. VL co-training과 사람 trajectory few-shot 적응을 양팔 이동 로봇에서 검증한다
↳ 11 physical-aivlaGemini Robotics (Google DeepMind)
Gemini 2.0 기반 embodied reasoning VLM과 클라우드 backbone에 온보드 decoder를 붙인 VLA 기술 보고서
↳ 23 physical-aivla03-15. Gemini Robotics 1.0 (모두의 로보틱스 - VLA 입문)
Gemini Robotics 1.0의 한국어 입문 해설. 추론하는 ER와 action을 내는 본 모델을 나눠 구조, 일반화, 한계를 짚는다
↳ 17 physical-aivlaCurrent as Touch (UNC)
촉각 센서 없이 모터 전류로 접촉을 감지하고 PD 제어기용 compliance reference position을 예측하는 dexterous hand 프레임워크
↳ 6 physical-aimanipulationCurrent as Touch 프로젝트 페이지
Current as Touch 논문의 공식 프로젝트 페이지. 과제 네 개의 시연 영상과 전류 유무 스틸 컷, 대표 수치 카드를 배열한 짧은 소개 페이지다
↳ 3 physical-aimanipulationS1 (Skild AI)
unseen 과제를 영상 시연 하나로 수행하는 in-context learning 로봇 foundation model. pre-training이 늘수록 VLA와 격차가 커진다
↳ 12 physical-aivlaGenesis World (Genesis AI, repo)
multi-physics 엔진, 렌더러 Nyx, 컴파일러 Quadrants를 한 Python API로 묶은 오픈소스 시뮬레이션 플랫폼. 예제와 설치만 다루고 성능 수치는 없다
↳ 8 physical-aisimulatorLIBERO-Recover (DUT, Beta Infinity)
VLA와 WAM의 실제 실패 2,117건을 네 단계로 나눈 복구 벤치마크. LIBERO 90%대 모델 6종이 5.8%에서 34.0%에 그친다
↳ 23 physical-aibenchmarkReAcTree (ETRI, UST)
subgoal별 LLM agent를 BT식 control flow로 엮어 실행 중에 키우는 task planning. WAH-NL goal 성공률이 31%에서 61%로 올랐다
↳ 8 physical-aimanipulationτ0-VLA (Shanghai Innovation Institute, Agibot Finch)
subtask 선택을 world model과 value model의 beam search로 푸는 계층형 VLA
↳ 11 physical-aivlaτ0-VLA 프로젝트 페이지
τ0-VLA 논문의 공식 프로젝트 페이지. rollout 영상 일곱 편과 고해상도 구조도를 싣고, 논문에 없는 execution memory 단독 개선 폭 11.0%p를 밝힌다
↳ 6 physical-aivlaHiVLA (HKU, Shanghai AI Lab)
VLM 계획과 DiT 제어를 subtask 문장 하나와 bounding box 하나로 잇는 계층형 manipulation 시스템
↳ 16 physical-aivlaHiVLA 프로젝트 페이지
HiVLA 논문의 공식 프로젝트 페이지. 초록과 도식 두 장, RoboTwin 결과 표만 싣고 시연 영상은 없다
↳ 5 physical-aivlaLLM-as-BT-Planner (TUM MIRMI, MBZUAI)
LLM이 로봇 조립 계획을 실행 가능한 BT로 직접 생성한다. 네 방식 중 human-in-the-loop이 17개 중 16개 성공
↳ 5 physical-aimanipulationlong-horizon-papers (acensia, repo)
long-horizon 논문 52편을 LLM agent, VLM planning, VLA manipulation으로 나눈 큐레이션 저장소. VLA는 해결 방식별로 다섯 폴더로 나눈다
↳ 7 physical-aivlaRoboClaw (AgiBot)
데이터 수집과 policy 학습과 과제 실행을 하나의 VLM 컨트롤러 아래로 합친 agentic 프레임워크. forward 동작에 inverse 복구 동작을 짝지어 사람 없이 환경을 리셋한다
↳ 15 physical-aivlaMoA 대리 응답과 BT 실행 (Waseda, NII)
확인 질문을 세 expert agent가 나눠 답하고 나머지만 사람이 답하는 대화형 계획. BT action node마다 policy를 묶는다
↳ 8 physical-aimanipulationCOIN (BIGAI, USTC)
환경을 건드려 정보를 얻고 계획을 고치는 interactive reasoning을 재는 manipulation 벤치마크. 과제 90개에서 사람은 40%, 최고 모델은 3.26%다
↳ 12 physical-aibenchmarkBehavior Tree와 FSM 비교 (ABB, ETH, KTH)
두 policy 표현을 mobile manipulation에서 모듈성, 반응성, 가독성으로 비교. 동작은 같지만 큰 과제에서 BT 편집이 적다
↳ 8 physical-aimanipulationCortex (Shanghai AI Lab)
VLM 계획을 32개 skill primitive로 묶어 하위 VLA가 실행하는 dual-system VLA. 14단계 화학 실험 zero-shot 65% 성공
↳ 10 physical-aivlaCortex 프로젝트 페이지
Cortex 논문의 공식 프로젝트 페이지. 방법을 네 장의 카드로 압축하고, 논문에 없는 RMBench 7과제 평균과 경계 추론 히트맵을 싣는다
↳ 6 physical-aivlaRoboCasa (UT Austin, NVIDIA, RSS 2024)
주방 장면 120개와 과제 100종을 담은 로봇 시뮬레이션 프레임워크. 시뮬레이션 데이터로 실제 로봇 성능을 올렸다
↳ 20 physical-aisimulatorRoboCasa365 (UT Austin, NVIDIA, ICLR 2026)
과제 365종과 2,200시간 데이터로 VLA 4종을 같은 조건에서 비교한 후속 벤치마크
↳ 14 physical-aibenchmarkGR00T N1.5 (NVIDIA GEAR Lab)
N1의 골격을 두고 네 군데만 손본 후속 버전의 공식 프로젝트 페이지. VLM 고정과 FLARE 손실, DreamGen 합성 데이터가 변경점이다
↳ 31 physical-aivlaπ0.7 (Physical Intelligence)
prompt에 episode의 속도와 품질, 실수 여부를 적어 걸러낼 데이터까지 학습에 쓰는 5B VLA. 조합적 일반화를 보인다
↳ 15 physical-aivlaπ0.7: a Steerable Model with Emergent Capabilities (블로그)
π0.7 논문과 같은 날 나온 공식 발표문. 영상 시연과 회사가 강조한 메시지를 담는다
↳ 7 physical-aivlaGR-1 (ByteDance Research)
사람 영상에서 미래 프레임 예측을 배운 뒤 로봇 데이터로 학습한 manipulation policy. video generative pre-training의 출발점
↳ 15 physical-aivlaGR-1 (bytedance, repo)
GR-1 논문의 공식 코드 저장소(Apache-2.0). CALVIN 평가 경로와 가중치만 공개하고 pre-training과 fine-tuning 코드는 없다
↳ 9 physical-aivlaVLA & Policies for Robots (LearnOpenCV)
RT-2부터 Gemini Robotics까지 아홉 모델을 계보순으로 소개하고 네 모델은 실행 코드까지 붙인 튜토리얼
↳ 17 physical-aivlaIsaac GR00T N1 릴리스 공지 (NVIDIA)
GR00T N1 공개 당일의 NVIDIA 기술 블로그. 논문에 없는 GPU 사양과 다섯 단계 절차가 실무 진입점이다
↳ 10 physical-aivla03-13. Groot N1 (모두의 로보틱스 - VLA 입문)
GR00T N1 논문의 한국어 입문 해설. dual-system 구조와 flow matching, data pyramid를 차례로 풀어 원 논문 앞에 두는 진입로다
↳ 15 physical-aivlaHelix (Figure AI)
humanoid 상체를 자연어로 제어하는 dual-system VLA의 공식 발표문. 7B VLM과 80M Transformer를 함께 학습해 200Hz로 35-DoF를 낸다
↳ 21 physical-aivlaHelix 한국어 소개 (9bow)
PyTorch 한국 사용자 모임이 Helix 발표를 옮긴 글. 원문에서 iframe에 가려 수집되지 않는 System 1과 System 2 구조도가 여기에는 실려 있다
↳ 7 physical-aivlaAwesome-Dual-System-VLA (repo)
OpenHelix 저자들이 논문의 서베이 절을 옮겨 갱신하는 awesome 리스트. 배제 목록을 나란히 둬 판정 기준을 함께 보여 준다
↳ 19 physical-aivlaOpenHelix (Westlake Univ)
dual-system VLA의 짧은 서베이와 설계 요소별 ablation, 오픈소스 모델을 묶은 기술 보고서. dual-system에 판정 기준을 세웠다
↳ 27 physical-aivlaGEN-1.5 (Generalist AI, 블로그)
시연 하나를 context window에 넣는 것만으로 새 조작 과제를 하는 로봇 foundation model 발표문. 설계 없이 나타난 능력이라고 본다
↳ 10 physical-aivla03-11. WALL-OSS (모두의 로보틱스)
WALL-OSS 논문의 한국어 입문 해설. 논문 여러 절에 흩어진 손실 함수를 학습 단계 순서로 재배열해 기호를 하나씩 풀이한다
↳ 9 physical-aivlaWALL-OSS (X Square Robot)
Self-Attention은 공유하고 FFN만 vision-language용과 action용으로 나눈 embodied foundation model. 커리큘럼은 두 단계다
↳ 13 physical-aivlaWALL-OSS 프로젝트 페이지 (x2robot.com)
WALL-OSS 논문의 공식 프로젝트 페이지. 새 주장이나 수치는 없고 평가 과제의 실행 장면을 영상으로 보여 주는 데 값이 있다
↳ 7 physical-aivlaWall-OSS-0.5 기술 보고서
VLA pre-training 체크포인트를 초기값이 아니라 policy 그대로 실제 로봇에서 평가한 4B 오픈소스 VLA
↳ 15 physical-aivlawall-x (X-Square-Robot)
WALL 계열 모델의 학습과 추론 코드 저장소(Apache-2.0). 데이터 준비부터 fine-tuning, 서빙, 평가까지의 경로를 담는다
↳ 7 physical-aivlaSmolVLA (Hugging Face)
π0의 구도를 450M으로 줄이고 커뮤니티 공개 데이터로 학습한 VLA. GPU 한 장 학습과 asynchronous inference로 배포 비용을 겨냥한다
↳ 20 physical-aivlaπ*0.6 / RECAP (Physical Intelligence)
배치된 로봇의 experience와 전문가 개입을 강화학습 신호로 바꿔 학습에 반영하는 VLA. 학습 레시피 이름은 RECAP이다
↳ 22 physical-aivlaπ*0.6: a VLA that Learns from Experience (블로그)
π*0.6 논문과 같은 날 나온 공식 발표문. 논문에 없는 배치 현장의 실행 시간과 규모를 적는다
↳ 8 physical-aivlaπ0.5 (Physical Intelligence)
π0의 후속. 규모가 아니라 학습 데이터 구성을 바꿔, 여러 원천을 한 mixture에 넣는 co-training으로 처음 보는 가정집에서 동작한다
↳ 54 physical-aivlaπ0.5: a VLA with Open-World Generalization (블로그)
π0.5 논문과 같은 날 나온 공식 발표문. 논문이 그래프로만 준 언어 ablation 수치를 값으로 적는다
↳ 9 physical-aivla03-06. OpenVLA (모두의 로보틱스 - VLA 입문)
OpenVLA 논문의 한국어 입문 해설(03-06편). RT-2가 연 방향을 7B 오픈소스로 다시 구현한 과정을 따라간다. 원 논문 페이지를 읽기 전 입문용
↳ 11 physical-aivlaopenpi (Physical Intelligence, repo)
π0 계열의 공식 구현. Apache-2.0으로 base와 플랫폼별 checkpoint를 열고, RTX 4090 한 장에서 LoRA fine-tuning이 된다
↳ 23 physical-aivlaπ0 (Physical Intelligence)
PaliGemma에 action expert를 붙인 3.3B VLA. action을 이산 토큰 대신 flow matching으로 내어 50Hz 제어가 된다
↳ 60 physical-aivlaπ0: Our First Generalist Policy (블로그)
π0 논문과 같은 날 나온 공식 발표문. zero-shot 과제별 점수와 무편집 데모 영상을 싣는다
↳ 8 physical-aivlaASPIRE (NVIDIA GEAR)
로봇 policy를 신경망 가중치가 아니라 코딩 에이전트가 고쳐 쓰는 Python 프로그램으로 두는 지속학습 시스템. 검증된 수정을 skill library에 쌓아 재사용한다
↳ 15 physical-airobot-learning03-05. ACT (모두의 로보틱스 - VLA 입문)
ACT 논문의 한국어 입문 해설(03-05편). action chunking, temporal ensembling, CVAE 세 장치를 차례로 풀이한다. 원 논문 페이지를 읽기 전 입문용
↳ 11 physical-aiimitation-learningOpenVLA (Stanford, Berkeley, TRI)
RT-2 계보의 첫 오픈소스 generalist VLA. 97만 개 시연 데이터로 fine-tune해 55B RT-2-X를 앞선다
↳ 54 physical-aivlaALOHA + ACT (Learning Fine-Grained Bimanual Manipulation)
저가 양팔 teleoperation 장치와 action chunking 알고리즘 ACT를 낸 논문
↳ 36 physical-aiimitation-learning03-04. RT-2 (모두의 로보틱스 - VLA 입문)
RT-2 논문의 한국어 입문 해설(03-04편). action을 언어처럼 다루는 발상부터 일반화 결과와 ablation까지 짚는다. 원 논문 페이지를 읽기 전 입문용
↳ 13 physical-aivla03-03. RT-1 (모두의 로보틱스 - VLA 입문)
RT-1 논문의 한국어 입문 해설. 기초 개념부터 아키텍처, 결과, ablation까지 순서대로 설명한다. 원 논문 페이지를 읽기 전 입문용으로 권장
↳ 10 physical-aivlaVLA for Bimanual Manipulation (Survey)
VLA 문헌 200편 이상을 양팔 manipulation 렌즈로 정리한 서베이. 성패를 가르는 변수는 두 팔의 결합도라고 본다
↳ 23 physical-aivlaRT-2 (Google DeepMind)
VLA라는 범주를 세운 논문. action을 텍스트 토큰으로 적어 웹 VQA와 함께 fine-tune하면 VLM을 그대로 policy로 쓸 수 있다
↳ 36 physical-aivlaRT-1 (Robotics Transformer)
13만 개 시연 데이터로 학습한 35M Transformer 조작 policy. 대규모 데이터와 실시간 제어를 함께 실증한 VLA 계보의 출발점
↳ 29 physical-aivla