Gemini Robotics 1.5: Pushing the Frontier of Generalist Robots with Advanced Embodied Reasoning, Thinking, and Motion Transfer

요약

Gemini Robotics 1.5는 Google DeepMind가 2025년 9월 25일 공개하고 10월 arXiv에 올린 로봇 foundation model 가족의 두 번째 세대 기술 보고서다. 가족은 두 모델로 이뤄진다. Gemini Robotics 1.5(GR 1.5)는 ALOHA 2, Bi-arm Franka, Apptronik Apollo humanoid 세 로봇을 checkpoint 하나로 제어하는 multi-embodiment VLA이고, Gemini Robotics-ER 1.5(GR-ER 1.5)는 물리 세계의 시각, 공간, 시간 이해를 뜻하는 embodied reasoning에 최적화된 VLM이다. 두 모델을 orchestrator와 action model로 묶으면 사용자 대화, 고수준 planning, tool use, 저수준 action이 한 흐름으로 이어지는 agentic system이 된다.

보고서가 내세우는 혁신은 세 가지다. 첫째, Motion Transfer라는 새 아키텍처와 학습 레시피로 서로 다른 로봇의 데이터에서 동작의 통합된 이해를 학습해, 한 로봇에서만 수집된 skill을 다른 로봇으로 zero-shot 전이한다. 둘째, VLA가 action을 내기 전에 자연어 thinking trace를 생성하는 Thinking VLA로 multi-step 과제의 progress score를 ALOHA에서 0.26에서 0.55로 끌어올린다. 셋째, GR-ER 1.5가 학술 embodied reasoning 벤치마크 15종의 ER Score에서 59.6으로 GPT-5(51.1)와 Gemini 2.5 Pro(51.7)를 앞서면서 frontier 모델의 일반 능력을 유지한다. 실험은 모두 실제 로봇 A/B/n 테스트이며, 개발 중 평가의 90% 이상은 MuJoCo 시뮬레이터에서 수행했다.

배경

이전 세대가 남긴 과제

이전 세대 Gemini Robotics(2025년 3월)는 Gemini의 풍부한 world knowledge를 활용해 상호작용성, 일반성, dexterity를 갖춘 VLA를 만들었다. dexterity는 origami 접기처럼 정밀하고 복잡한 manipulation을 해내는 능력을 말한다. 그 보고서는 embodied reasoning을 강화한 GR-ER과 로봇을 직접 제어하는 Gemini Robotics를 함께 내놓았고, ERQA 벤치마크와 ASIMOV 안전 데이터셋을 공개했다.

그러나 이전 세대의 Bi-arm Franka와 Apollo humanoid 모델은 post-training된 특화 모델이라 학습한 과제의 변형을 넘어서는 일반화가 거의 없었다. embodiment마다 다른 checkpoint가 필요했고, 한 로봇에서 배운 skill이 다른 로봇으로 옮겨가는 일은 드물었다. 또한 VLA는 지시문을 받아 곧바로 action을 냈으므로 "옷을 색깔별로 분류해라"처럼 여러 단계를 이어야 하는 과제에서 진행 상태를 스스로 판단하고 계획을 갱신하기 어려웠다.

물리 세계의 agent라는 목표

보고서는 진정한 범용 로봇에 세 가지가 필요하다고 본다. 물리 세계에 대한 깊은 이해, 고급 추론, 일반적이면서 dexterous한 제어다. 디지털 도메인의 Gemini는 이미 thinking과 tool use로 agentic 패러다임을 갖췄으므로, 이 패러다임을 물리 세계로 가져오는 것이 두 번째 세대의 목표다. 보고서는 이 목표를 "지각하고, 생각하고, 행동하는 physical agent의 시대"로 표현한다.

이 목표는 두 모델의 분업으로 구체화된다. 디지털 도구와 대화와 planning을 맡는 VLM과 로봇을 움직이는 VLA를 분리하되, 둘 다 Gemini의 world knowledge를 물려받고 둘 다 행동 전에 생각하도록 만드는 것이다.

이전 세대와의 차이

이 보고서가 이전 세대에서 무엇을 바꿨는지는 아래 표로 요약된다. 표의 내용은 이 보고서가 스스로 밝힌 범위에 한정한다.

핵심 개념

embodied reasoning은 로봇 응용에 필요한 물리 세계의 시각, 공간, 시간 이해를 뜻한다. 정밀한 공간과 시간 추론부터 직관 물리, 인과, affordance에 대한 깊은 이해까지 포함한다. affordance는 물체가 허용하는 상호작용 가능성을 뜻한다.

orchestrator와 action model은 agentic system의 두 층이다. orchestrator는 사용자 입력과 환경 피드백을 처리하고 과제를 단계로 쪼개며 각 단계의 성공을 판정하는 상위 모델이고, action model은 그 단계를 저수준 로봇 action으로 옮기는 하위 모델이다. 이 보고서에서는 GR-ER 1.5가 orchestrator를, GR 1.5가 action model을 맡는다.

Embodied thinking은 action 전에 추론하는 능력이며 VLM과 VLA 양쪽에서 동작한다. VLA 쪽의 이 능력을 Thinking VLA라 부른다. thinking trace는 모델이 action을 내기 전에 생성해 context window에 붙이는 자연어 추론 기록이다.

**Motion Transfer(MT)**는 여러 로봇의 데이터에서 동작과 물리 상호작용의 효과에 대한 통합된 이해를 학습하게 하는 아키텍처와 학습 레시피다. embodiment는 로봇의 물리적 형상과 그에 딸린 제어 구성을 뜻하며, MT의 목표는 embodiment가 다른 로봇 사이에서 skill이 전이되게 하는 것이다.

progress score는 과제를 어디까지 해냈는지를 0과 1 사이의 부분 점수로 재는 지표다. 성공률이 이진값인 것과 달리 연속적이고 세밀해서 multi-step 과제의 부분 달성을 반영한다.

inference-time compute는 모델이 답을 내기 전에 쓰는 추론 시점의 연산량이며, thinking 토큰 예산으로 조절한다. 수학과 코드에서 이 예산을 늘리면 성능이 오르는 것이 알려져 있고, 이 보고서는 같은 효과가 embodied reasoning에서도 나타나는지 확인한다.

방법

모델 가족의 구성

두 모델은 모두 Gemini 최신 세대 위에 만들어져 멀티모달 world knowledge를 물려받는다.

GR 1.5는 post-training 없이 세 로봇을 제어한다. Figure 2는 같은 checkpoint가 ALOHA, Bi-arm Franka, Apollo humanoid에서 수행하는 과제 사진이다.

agentic system의 두 층

agentic system은 orchestrator와 action model로 이뤄지며, 각각 VLM과 VLA가 구현한다.

보고서의 "런던 여행을 위해 가방을 싸라" 예시는 세 수준의 분해를 보여준다.

이 구조가 multi-step 과제에 강한 이유는 skill을 구조적이고 의도적으로 조합하기 때문이다. 즉 한 모델이 긴 지시문을 한 번에 action으로 바꾸는 대신, 각 층이 자기 수준의 결정만 내린다.

두 수준의 thinking

GR-ER 1.5 쪽의 embodied thinking은 Gemini의 thinking과 tool use를 향상된 물리 세계 이해와 결합한다. 복잡한 과제를 거친 계획으로 나누고, 실행 결과에 따라 계획을 갱신하며, 웹 검색 같은 외부 도구를 부르는 고수준 planning이 여기서 이뤄진다.

VLA 쪽의 Thinking VLA는 지시문과 자기 perception에 대해 명시적으로 추론하고, 자연어 thinking trace를 생성해 context window에 붙인 뒤 action을 낸다. Figure 7의 trace를 보면 thinking이 두 수준으로 나뉜다. "next step"은 "테이블에서 노란 테니스공을 왼손으로 집어라"처럼 다음 subtask를 적고, "motion description"은 "왼팔이 앞으로, 오른쪽으로, 약간 위로 움직이고 왼손 그리퍼가 열린다"처럼 저수준 motion trajectory를 적는다. subtask는 고수준 추론이 텍스트로 내놓는 중간 단계 명령이다.

이 과정의 효과는 세 가지로 요약된다. 복잡한 지시문이 primitive skill 시퀀스로 단순화되고, 사람과 로봇의 상호작용 투명성이 높아지며, VLA 능력을 키우는 새 방법이 열린다.

Motion Transfer

Motion Transfer는 VLA를 위한 새 모델 아키텍처와 학습 레시피를 함께 가리킨다. 서로 다른 로봇과 데이터 원천에서 학습해 동작과 물리 상호작용의 효과에 대한 통합된 이해를 형성하고, 그 결과 매우 다른 embodiment 사이에서 skill이 전이되게 한다. 보고서는 아키텍처의 세부를 공개하지 않고 결과 절에서 MT 유무를 ablation으로만 비교한다. ablation은 구성 요소 하나를 빼고 성능 변화를 재는 실험이다.

학습 데이터

평가 방법

모든 비교는 실제 로봇 A/B/n 테스트다. 한 비교에 등장하는 모든 모델을 같은 로봇 작업 셀에서 번갈아 테스트해 로봇과 환경 조건 차이에서 오는 분산을 줄인다.

개발 속도를 위해 실제 로봇 없는 평가도 만들었다. MuJoCo 시뮬레이터로 세 로봇의 평가 장면을 만들고 시각과 물리 파라미터를 실제와 정밀하게 맞춰, 시뮬레이션 순위가 실제 로봇 순위와 일치하는 rank consistency를 확보했다. 부록 Figure 21에서 과제 7종의 A/B 테스트 쌍이 대각선 방향으로 늘어서 이를 보여준다. 그 결과 GR 1.5 개발 중 평가 episode의 90% 이상이 시뮬레이션에서 이뤄졌고, 실제 하드웨어에서 실행되는 테스트 양이 크게 줄었다. 모델 품질의 최종 판정에는 여전히 실제 평가가 필요하다.

GR 1.5 벤치마크는 총 230개 과제다.

지표는 progress score의 평균과 표준 오차를 기본으로 보고하고, 성공률 그래프는 부록 B.5에 따로 싣는다.

부록은 각 벤치마크의 과제와 progress score 정의를 표로 싣는다. 과제의 성격을 보여주는 예시를 옮기면 다음과 같다.

결과

단기 과제 일반화

일반화는 이전 보고서와 같은 방법으로 네 항목의 변형을 두고 잰다.

ALOHA에서 GR 1.5는 네 일반화 항목 모두에서 두 기준 모델을 앞서고, 특히 instruction(0.76 대 0.53), action(0.54 대 0.25), task generalization(0.70 대 0.44)에서 이전 Gemini Robotics와 차이가 크다. Bi-arm Franka와 Apollo humanoid에서는 모든 항목에서 Gemini Robotics On-Device(GRoD)를 크게 앞선다. 예를 들어 Franka의 visual generalization은 0.77 대 0.09이고 humanoid의 task generalization은 0.63 대 0.07이다.

다만 이 비교에는 두 가지 단서가 붙는다. 첫째, Bi-arm Franka와 humanoid에서는 이전 Gemini Robotics 모델과 비교하지 않았는데, 그 모델들이 post-training된 특화 모델이라 일반화가 거의 없었기 때문이다. 둘째, GRoD checkpoint는 더 이른 시점에 공개되어 적은 데이터로 학습됐고 embodiment마다 다른 checkpoint를 쓰므로 동등 조건 비교가 아니다. 성공률 기준(부록 Figure 35)으로 ALOHA의 GR 1.5는 in-distribution 0.72, instruction 0.62, action 0.47, visual 0.67, task 0.39를 기록했다.

Motion Transfer ablation

일반화 향상의 원인을 찾기 위해 두 기준을 둔다. MT 없이 single-embodiment 데이터로 학습한 모델과 MT 없이 모든 embodiment 데이터로 학습한 모델이다.

다른 embodiment의 데이터를 추가하는 것만으로도 성능이 대체로 오르지만, MT 레시피는 그 추가 데이터의 긍정 효과를 뚜렷하게 증폭한다. humanoid의 task generalization이 가장 선명한 예로, single-embodiment 0.25가 multi-embodiment 0.56으로 오르고 MT를 더하면 0.63이 된다. 예외도 있다. ALOHA의 visual generalization은 MT 없는 두 조건(0.84, 0.83)이 GR 1.5(0.81)보다 약간 높고, Bi-arm Franka의 action generalization은 single-embodiment(0.75)가 GR 1.5(0.70)보다 높다. 성공률 기준 ablation은 부록 Figure 36에 있다.

cross-embodiment 전이

이전 연구 Open X-Embodiment가 여러 로봇의 데이터로 VLA를 학습하는 이점을 보였지만, 한 embodiment에서 다른 embodiment로의 zero-shot skill 전이를 보인 사례는 드물었다. 보고서는 GR 1.5의 multi-embodiment co-training과 MT가 이런 전이를 가능하게 한다는 증거를 제시한다. co-training은 성격이 다른 여러 데이터 원천을 하나의 학습 mixture에 함께 넣는 방식이다. ALOHA는 Bi-arm Franka에서만 수집된 과제를 수행하고 그 반대도 성립하며, 제어가 훨씬 어렵고 embodiment 간극이 큰 humanoid도 ALOHA 데이터에만 있는 skill을 수행한다.

single-embodiment 데이터로 학습한 모델(Gemini Robotics, GRoD, single-embodiment GR 1.5)은 모두 낮은 점수를 내고, cross-embodiment 데이터와 MT 레시피를 함께 쓰면 성능이 크게 오른다. 성공률을 함께 보고한 이유는 zero-shot 전이가 부분 진행이 아니라 실제 과제 완수로 이어짐을 보이기 위해서다. ALOHA에서 이전 Gemini Robotics의 성공률은 0.00이었고 GR 1.5는 0.43이다.

MT의 효과는 해당 플랫폼이 원래 갖고 있던 데이터 양에 따라 다르다.

thinking과 multi-step 과제

추론 시 thinking 모드를 켠 GR 1.5와 끈 GR 1.5를 multi-step 벤치마크에서 비교한다. "옷을 색깔별로 분류해라" 같은 긴 과제에서 action과 명시적 thinking 단계를 교차하는 이점이 특히 뚜렷하다.

ALOHA에서 이득이 가장 커서 progress score가 두 배 이상(0.26에서 0.55), 성공률은 네 배 이상(0.09에서 0.38) 오른다. Bi-arm Franka에서는 차이가 작다.

성능 향상은 고수준 multi-step 지시문을 저수준 action으로 옮기는 어려운 cross-modal 변환을 두 단계로 나누는 데서 온다. 첫째, 모델은 복잡한 과제를 구체적이고 짧은 단계의 시퀀스로 바꾸는 언어 기반 thinking trace를 생성한다. "옷 분류"라는 목표가 "옷에 더 가까워지도록 그리퍼를 왼쪽으로 옮겨라" 같은 생각이 된다. 둘째, 이 저수준 언어 명령을 로봇 action으로 직접 대응시킨다. 두 단계 분해가 단일 end-to-end 변환보다 견고한 이유는 첫 단계가 VLM backbone의 강한 시각-언어 능력을 활용하고 둘째 단계는 더 단순한 action 대응만 학습하면 되기 때문이다.

정성적 이점은 세 가지다.

Gemini Robotics-ER 1.5의 embodied reasoning

보고서는 GR-ER 1.5의 핵심 성질을 세 가지로 요약한다. frontier 모델의 일반성을 유지하면서 강한 embodied reasoning 성능을 내고, complex pointing과 progress understanding과 실제 사용 사례 같은 로봇 핵심 능력에서 뛰어나며, inference-time compute로 embodied reasoning 성능을 키울 수 있다.

generality와 embodied reasoning의 Pareto frontier

두 벤치마크 묶음으로 잰다. 첫째는 embodied reasoning을 재는 학술 벤치마크 15종으로, 텍스트 기반 이미지 이해(BLINK, CV-Bench, ERQA 등)와 공간 추론(RoboSpatial, PointArena, Where2Place, RefSpatial 등)을 포함한다. ER Score는 공간 추론 벤치마크 50%와 질의응답 벤치마크(이미지와 영상) 50%의 가중 평균이다. 둘째는 MMMU, GPQA, Aider Polyglot을 같은 가중치로 섞어 이미지 이해, 과학, 코딩 능력을 재는 generality 점수다. 텍스트 기반 VQA 채점에는 Gemini 2.5 Flash를 썼고, Gemini 2.5와 GPT-5 계열은 2025년 9월 1일에서 20일 사이에 기본 thinking 예산과 도구 없이 API로 호출했다.

GR-ER 1.5는 이 Pareto frontier를 넓힌다. 즉 같은 모델 급의 다른 모델과 비슷한 generality를 유지하면서 최고 수준의 embodied reasoning 성능을 낸다. 부록 Table 19와 Table 20의 상세 수치는 다음과 같다.

표를 항목별로 읽으면 우위의 출처가 드러난다. ER Score에서 GR-ER 1.5(thinking)는 59.6으로 2위인 GR-ER 1.5(no thinking) 53.7을 5.9%p, GPT-5의 51.1을 8.5%p 앞선다. 그러나 QA 평균만 보면 GPT-5(71.4)와 Gemini 2.5 Pro(68.0)가 GR-ER 1.5(66.5)보다 높다. 따라서 GR-ER 1.5의 우위는 공간 추론 평균(52.6 대 GPT-5 30.8)에서 온다. generality 평균은 GPT-5와 Gemini 2.5 Pro가 83.9와 83.5로 GR-ER 1.5의 73.8보다 약 10%p 높고, 차이는 주로 코딩 벤치마크 Aider Polyglot(57.3 대 81.3)에서 난다. 반면 이전 GR-ER(47.5)과 비교하면 generality가 26.3%p 올라, 로봇 특화가 일반 능력을 희생하던 이전 세대의 문제가 크게 줄었다.

complex pointing

point는 모델의 의미 이해를 시각 입력에 grounding하는 가볍고 유연한 표현이다. grounding은 모델 출력을 외부 근거나 물리 세계에 붙들어 매는 것이다. 아주 적은 토큰으로 클릭할 위치나 잡기 적합한 물체 부위 같은 추상 개념을 정확히 가리키고, point 집합으로 확장하면 motion trajectory나 경로 같은 복합 출력이 된다. point는 counting 같은 downstream 과제의 중간 추론 도구로도 쓰인다. 보고서는 pointing과 추론이 결합된 이 능력을 complex pointing이라 부른다.

부록 Table 21의 subtask별 점수는 다음과 같다.

이전 GR-ER은 Point-Bench-Affordance(87.9)와 Point-Bench-Counting(88.4)처럼 표준 pointing 일부에서 GR-ER 1.5보다 높다. 반면 GR-ER 1.5의 우위는 Where2Place(59.0 대 41.0)와 Point-to-Count(80.0 대 60.0)처럼 물리, 공간, 의미 제약(안전 포함)을 추론해야 하는 항목에서 두드러진다. Figure 11의 예시가 이를 보여주는데, 모델은 그릇 가장자리와 멀티탭의 빈 콘센트 같은 정밀한 부위를 찾고, 10파운드보다 가벼운 물체처럼 제약을 만족하는 point를 예측하며, 물리를 지키고 충돌을 피하는 trajectory로 point를 이어 낸다.

progress understanding과 success detection

물리 상호작용이 있는 실제 상황의 시간적 진행을 이해하는 능력은 policy 평가, 학습, 데이터 필터링, long-horizon 과제의 오케스트레이션에 두루 쓰인다. policy는 현재 observation을 받아 다음 action을 정하는 함수를 말한다. 정확한 progress 이해에는 시간과 공간 추론, 세계에 대한 의미 이해, multi-view 이해가 함께 필요하다. GR-ER 1.5는 과제 완료 비율 예측, success detection, 영상 프레임 순서 복원을 여러 embodiment의 다양한 장면에서 수행한다(Figure 12).

정량 평가는 success detection 벤치마크로 한다. 이미지와 텍스트 지시문을 주고 성공 여부를 이진으로 예측하며, 두 기준으로 네 설정을 둔다.

GR-ER 1.5는 real-time 두 설정에서 가장 높고 offline에서도 최고 수준이다. 보고서는 모델의 긴 추론 시간이 실시간 사용을 어렵게 만든다고 지적하는데, 오래된 성공 예측은 동적인 로봇 상호작용에서 금방 쓸모없어지기 때문이다. GPT-5의 real-time multiview 0.47과 offline singleview 0.80 사이의 큰 차이가 이 지연 손해를 보여준다.

실제 사용 사례

학술 벤치마크 밖의 성능을 보기 위해, GR-ER을 자기 응용 분야에 배포했던 초기 테스터가 제공한 예시로 벤치마크를 만들었다. in-the-wild 데이터 분포에서 물체 검출과 pointing 같은 공간 이해에 초점을 두며, bounding box는 IoU로, pointing은 정답 segmentation mask 안에 들어간 point의 비율로 채점한다. Figure 14(a)는 재고 선반 이미지를 표로 파싱해 HTML 페이지로 보여주는 검사 과제 예시다.

thinking 예산 스케일링

수학과 코드처럼 언어 기반 도메인이 thinking으로 이득을 본 것과 같이, GR-ER 1.5는 open-world embodied reasoning에서 thinking의 이득을 보인다. Figure 15의 trace를 보면 모델은 이미지의 핵심 특징을 먼저 파악한 뒤 세부(온도계 눈금)에 집중하고, 논리적이고 체계적으로 진행하며(양말 짝 맞추기), thinking 중에 point를 찍을 수 있고, 관련 수학 연산을 올바르게 수행한다.

frontier 모델이 강한 thinker라 해도 그것이 효과적인 embodied reasoning으로 바로 이어지지는 않는다. Gemini 2.5 Flash의 평평한 스케일링 곡선이 그 근거다. 반면 GR-ER 1.5의 강한 스케일링은 embodied reasoning에서도 inference-time compute 확장의 이득을 얻을 수 있음을 보여준다.

agentic system의 long-horizon 과제

GR-ER 1.5와 GR 1.5를 완전한 agentic system으로 결합해 out-of-distribution 환경에서 복잡한 long-horizon 과제를 수행한다. 테스트 시나리오는 고급 실제 환경 이해, tool use, long-horizon task planning, 실행, 오류 복구를 요구한다.

비교 조건과 과제

과제는 ALOHA와 Bi-arm Franka에 걸쳐 8개다. ALOHA에는 pre-training checkpoint를 그대로 썼고, Bi-arm Franka에는 long-horizon 과제 성공률을 높이기 위해 추가 post-training을 적용했다.

결과

GR 1.5 가족으로 구성된 agent가 두 기준을 일관되게 앞선다. Thinking VLA 단독은 최대 44%의 progress score로 중간 수준에 머무르는 반면, GR 1.5 agent는 80% 근처 점수를 자주 낸다. Thinking VLA도 어느 정도 과제 분해를 하지만 세계 이해와 task planning은 embodied reasoning 모델보다 제한적인데, 이는 Thinking VLA가 action 출력에 최적화된 더 작은 모델이라는 점과 맞는 결과다. Gemini 2.5 Flash를 orchestrator로 쓴 기준 agent와 비교하면 Desk Organization(0.88 대 0.56)이나 Pack Suitcase(0.45 대 0.15)처럼 더 복잡한 과제에서 progress score가 거의 두 배다. 예외는 Blocks in Drawer(0.83 대 0.87)와 Nut allergy(0.78 대 0.78)로, 두 orchestrator가 비슷하다.

실패 분석

실패는 세 범주로 나눈다.

GR-ER 1.5 orchestrator는 모든 범주에서 기준보다 낫고 task planning 성능 향상이 16.5%p로 가장 크다. 이 차이는 GR-ER 1.5가 Gemini 2.5 Flash보다 강한 embodied reasoning 능력을 제공한다는 뜻이다.

보고서는 이 결과에서 명확한 능력 위계를 읽는다. VLA 개선은 실행 견고함을 크게 높이지만 복잡한 long-horizon 과제에는 부족하고, 기성 VLM을 고급 VLA와 단순히 짝지어도 안정적인 end-to-end 성공을 얻지 못한다. 따라서 일반적이고 견고한 저수준 제어와 지능적인 고수준 embodied reasoning을 결합하는 것이 물리 세계의 AI agent 배포로 가는 핵심 경로라는 설계 철학이 나온다.

안전

안전 접근은 여러 층으로 이뤄진다. 고수준 semantic safety 추론, 사람과의 정중한 대화, action 전 안전에 대한 thinking, 필요 시 충돌 회피 같은 저수준 물리 안전 서브시스템 호출이 함께 작동하고, ISO 안전 표준에 따른 운영 안전 관행을 계속 반영한다.

ASIMOV-2.0

ASIMOV-2.0은 품질 향상, 실제 부상 시나리오(NEISS)의 tail coverage 확대, Veo로 생성한 영상 modality, 물리 제약이 있는 새 embodied reasoning 과제를 더한 버전이다. 세 하위 벤치마크로 구성된다.

GR-ER 1.5는 action의 안전 결과 이해(14%p 상승)와 영상 위험 인식(18%p 상승)에서 GR-ER보다 크게 나아졌고, 텍스트 위험 인식은 두 세대가 비슷하다.

물리 안전 제약 준수에서는 Thinking about Safety로 fine-tuning한 GR-ER 1.5가 68.4로 가장 높다. fine-tuning 없이 thinking만 켠 GR-ER 1.5(55.1)는 GPT-5(59.4)보다 낮으므로, 이 항목의 최고 기록은 안전 특화 fine-tuning의 효과다.

Auto-Red-Teaming

Attacker는 Target의 학습이나 평가 데이터에서 평범한 과제를 뽑아 적대적 과제로 바꾼다. ER 모델은 악의적 지시문(prompt attack)이나 편집된 이미지(scene attack)로, action 모델은 rollout 중 움직이는 장애물 같은 방해(environment attack)로 공격한다. Autorater는 Target 응답의 정확성과 안전성을 채점한다. Figure 20은 Attacker가 ALOHA 장면에 없는 물체를 가리키라고 요구해 ER 모델의 환각을 끌어낸 사례이며, Autorater는 응답 오버레이 이미지를 보고 이를 실패로 판정하고 근거를 적었다.

이 프레임워크로 세 가지가 확인됐다. 첫째, GR-ER 1.5는 특히 thinking을 켰을 때 지시문 난독화, 환각 유도, 콘텐츠 안전 공격에 더 견고하다. 둘째, Autorater로 모델 응답을 안정적으로 비평하고 교정할 수 있다. 셋째, auto-red-teaming으로 생성한 학습 데이터가 환각 같은 취약점을 완화한다.

한계

• dexterity는 이전 세대 수준. GR 1.5는 새 수준의 일반화를 보이지만 dexterity는 이전 세대와 같은 수준에 머문다. 보고서는 일반성을 희생하지 않고 dexterity를 높이기 위해 강화학습 같은 새 아키텍처와 학습 방법을 탐색하겠다고 밝힌다.
• 더 확장 가능한 데이터 원천 미활용. 전통적인 로봇 action 데이터를 넘어 실제 사람 영상과 합성 영상 같은 원천을 활용하는 것이 다음 단계다. GR 1.5의 아키텍처 변경은 action 주석 없이도 이런 데이터에서 학습할 수 있게 이미 갖춰져 있으며, 공개된 저품질 영상 코퍼스에서의 학습이 향후 과제다.
• Motion Transfer의 한계. embodiment 간극이 매우 큰 humanoid에서는 MT의 alignment 효과가 덜 뚜렷했다. ALOHA visual generalization과 Bi-arm Franka action generalization처럼 MT 없는 조건이 더 높은 항목도 있다.
• Motion Transfer의 세부 미공개. 아키텍처와 학습 레시피의 구체적 내용은 보고서에 없고 ablation 결과로만 효과를 보인다. 재현이나 비교 연구가 어렵다.
• agentic system의 남은 실패. GR-ER 1.5 orchestrator에서도 subtask 실패율 합계가 22%이며 planning 9%, action 9%, success detection 4%가 남아 있다.
• generality 격차. GR-ER 1.5의 generality 평균은 73.8로 GPT-5(83.9)와 Gemini 2.5 Pro(83.5)보다 약 10%p 낮고, 차이는 코딩 벤치마크에서 크다.
• 기준 모델 비교의 비대칭. Bi-arm Franka와 humanoid의 GRoD 비교는 데이터 양과 공개 시점이 달라 동등 조건이 아니라고 보고서 스스로 밝힌다.
• 접근 제한. GR 1.5 VLA는 선별된 파트너에게만 제공되고 GR-ER 1.5만 Gemini API로 공개됐다. 모델 크기와 control frequency도 공개되지 않았다.

후속 방향

보고서의 논의 절은 세 기여가 서로를 보완한다고 정리한다. Embodied thinking은 long-horizon 과제를 분해하는 지능을 주지만, 그 지능은 성공적인 실행으로 옮겨질 때만 가치가 있고 그 실행은 일반적인 VLA가 맡는다. 그 VLA는 다시 여러 embodiment 사이에서 지식을 공유하므로 로보틱스 커뮤니티 전체가 모은 데이터를 활용할 길을 연다. 마지막으로 embodied reasoning은 정보 수집과 다단계 추론이 모두 필요한 복잡한 과제에서 perception과 의미 이해와 planning을 강화한다.

향후 연구로는 두 방향이 명시된다.

저장소 안에서의 위치

이 페이지는 Gemini Robotics 계보의 가운데에 놓인다. 앞에는 Gemini 2.0 위에 GR-ER과 VLA를 세운 이전 세대 기술 보고서가 있고, 뒤에는 whole-body control과 다중 로봇 협업을 더한 Gemini Robotics 2 발표문이 있다. 세 자료를 순서대로 읽으면 embodiment별 특화 모델에서 단일 checkpoint를 거쳐 whole-body control로 가는 흐름이 보인다.

방법 면에서는 두 계열과 맞닿는다. 하나는 VLM이 subtask를 내고 VLA가 실행하는 계층형 구조로, HiVLA와 dual-system VLA 계보가 여기 속한다. 이 보고서의 orchestrator와 action model 분업은 같은 발상이지만, orchestrator가 tool use와 success detection까지 맡는다는 점에서 범위가 넓다. 다른 하나는 action 전에 chain-of-thought를 생성하는 추론형 VLA로, MobileVLA-R1 2.0 같은 페이지가 있다. Thinking VLA의 두 수준 trace는 이 계열의 사례다.

데이터 면에서는 Open X-Embodiment가 열어둔 multi-embodiment 학습을 zero-shot 전이까지 끌고 간 사례로 읽을 수 있고, GR00T N1과 π0.5가 같은 문제를 다른 레시피로 푼 동시대 연구다.

핵심 용어

관련 페이지

• Gemini Robotics: Bringing AI into the Physical World: 이전 세대 기술 보고서. GR-ER과 ERQA와 ASIMOV의 출처이며, 이 보고서의 벤치마크 설계 철학과 일반화 항목 정의가 거기서 왔다.
• Gemini Robotics 1.5 brings AI agents into the physical world: 이 보고서와 같은 날 나온 DeepMind 공식 발표문. 분리수거 예시와 API 공개 범위를 담는다.
• 03-16. Gemini Robotics 1.5 - 모두의 로보틱스 - VLA 입문: 모두의 로보틱스 시리즈의 한국어 입문 해설. orchestrator, Thinking VLA, Motion Transfer 세 개념을 먼저 익히기에 적합하다.
• 03-15. Gemini Robotics 1.0 - 모두의 로보틱스 - VLA 입문: 같은 시리즈의 1.0 해설. 이 보고서가 출발점으로 삼는 이전 세대의 구조를 다룬다.
• 제미나이 로보틱스 2: 로봇에 전신 지능을 구현하다: 다음 세대 Gemini Robotics 2의 발표문. 세 모델 분업과 ASIMOV-Agentic이 이 보고서의 구조를 잇는다.
• Open X-Embodiment: Robotic Learning Datasets and RT-X Models: 여러 로봇 데이터로 VLA를 학습하는 이점을 보인 선행 연구. 이 보고서는 zero-shot skill 전이 사례가 드물었다는 점에서 출발한다.
• GR00T N1: An Open Foundation Model for Generalist Humanoid Robots: 보고서가 multi-embodiment VLA로 함께 인용한 GR00T N1.
• π0.5: a Vision-Language-Action Model with Open-World Generalization: 함께 인용된 π0.5. co-training으로 open-world generalization을 겨냥한다.
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control: 같은 Google DeepMind의 앞선 VLA이자 multi-embodiment 계보의 기준점.
• HiVLA: A Visual-Grounded-Centric Hierarchical Embodied Manipulation System: VLM이 subtask를 내고 VLA가 실행하는 계층형 구조의 오픈소스 사례. 이 보고서의 orchestrator와 action model 분업과 비교해 읽을 수 있다.
• MobileVLA-R1 2.0: RL-Enhanced Reasoning for Mobile Robot Control: chain-of-thought를 내부 표현으로 학습한 이동 로봇 VLA. Thinking VLA와 같은 계열이다.
• Awesome-Dual-System-VLA: 느린 상위 모델과 빠른 하위 policy를 나누는 dual-system VLA 계보 목록.
• An Anatomy of Vision-Language-Action Models: From Modules to Milestones and Challenges: Gemini Robotics를 안전 alignment 학습 계열의 예로 다루는 VLA 서베이.
• A Survey of Physical AI: A History from ChatGPT to World Models and Embodied Agents: Gemini Robotics 1.5를 비공개 frontier 시스템으로 분류하고 평가의 어려움을 논하는 서베이.
• Physical AI 카테고리 지도와 학습 경로: physical-ai 분류 기준과 학습 경로 허브.