구글 'RT-1, RT-2', 로봇개발자라면 반드시 이 내용 알아야 합니다 l 구글 딥마인드 Robotics Transformer 핵심 논문 리뷰

요약

이 자료는 한국어 로봇 엔지니어 채널 "엥지유니버스"가 2025년 4월에 공개한 19분 49초짜리 영상으로, 구글 딥마인드의 RT-1과 RT-2 두 논문을 하나의 흐름으로 묶어 아키텍처 중심으로 리뷰한다. 여러 논문을 훑는 서베이가 아니라 두 편의 구조를 나란히 놓고 대조하는 형식이다.

발표의 특징은 텐서 크기를 숫자로 대입해 따라가게 만든 설명 방식에 있다. 300×300×3 이미지가 EfficientNet-B3를 지나 9×9×512 feature map이 되고, 평탄화되어 81개의 visual token이 되며, TokenLearner가 그중 8개만 남기는 흐름을 수치로 하나씩 짚는다. 즉 원논문을 읽을 때 건너뛰기 쉬운 shape 변화를 시청자가 손으로 계산하며 따라갈 수 있게 만든 것이 이 영상의 실질적인 값이다.

두 논문의 실험 수치와 방법 세부는 이 저장소의 원논문 페이지가 담당한다. 따라서 이 페이지는 발표가 실제로 말한 것, 즉 발표자가 두 논문을 잇는 방식과 강조점, 그리고 직접 덧붙인 비유를 정리한다.

배경

과제별 모델의 한계

발표는 기존 로봇 제어가 특정 작업에 맞춰진 모델을 쓴다는 사실에서 출발한다. 예로 드는 것은 공장에서 같은 종류의 부품을 조립하는 로봇이다.

이 로봇의 학습 데이터는 부품을 잡는 각도, 위치, 속도를 세밀하게 기록한 수천에서 수만 개의 예제로 구성된다. 따라서 부품의 형태나 색상이 바뀌면 기존 데이터와 차이가 커서 모델이 제대로 동작하지 않고, 새 데이터를 다시 수집해 재학습해야 한다.

발표자는 이 재수집 비용을 로봇 보급의 걸림돌로 짚는다. 실제 운용 환경은 언제든 바뀌는데 변화마다 별도의 데이터 수집과 재학습이 필요하면 생산성이 떨어지기 때문이다.

언어와 비전에서 가져온 근거

발표는 대규모 범용 학습의 근거를 NLP와 컴퓨터 비전의 선례에서 찾는다. foundation model은 대규모 인터넷 데이터로 pre-training해 여러 하위 과제의 기반이 되는 범용 모델을 말한다.

GPT-3와 GPT-4는 수십억 단어 규모의 텍스트로 학습해 특별한 예시 없이도 새로운 질문에 답한다. CLIP은 인터넷의 이미지 수억 장과 대응 텍스트로 학습해, 특정 동물 이름이 학습 데이터에 없어도 유사한 개념을 찾아낸다.

발표는 이 능력을 로봇 제어로 옮길 때 얻는 이점을 세 가지로 제시한다.

• 데이터 수집 비용 감소. 작업마다 별도 데이터셋을 만들지 않고 이미 방대한 데이터로 학습된 모델의 지식을 활용한다.
• 범용성 확보. 하나의 모델이 물건을 집어 올리고 정리하고 조립하는 여러 작업과 환경에 대응한다.
• zero-shot과 few-shot 학습. 새 작업에 필요한 데이터를 다시 모으지 않고 몇 가지 예시만으로 수행한다.

이 세 가지가 발표 전체의 틀이 된다. 발표는 이 틀 위에서 RT-1을 "언어로 조건화된 CNN"으로, RT-2를 "행동을 언어처럼 다루는 VLM"으로 대응시킨다.

핵심 개념

policy와 action

policy는 현재 observation을 받아 다음 action을 정하는 함수를 말한다. 발표는 이 개념을 "범용 로봇 제어 모델"이라 부르며, 하나의 모델이 여러 작업과 환경에 대응하는 것을 두 논문의 공통 목표로 제시한다.

action은 policy가 출력하는 제어 명령이다. RT-1과 RT-2 모두 팔의 이동량, 회전, 그리퍼 상태를 포함한 11개 항목을 한 번에 낸다.

양자화와 action token

두 모델은 연속값인 제어 명령을 그대로 내보내지 않고 정해진 구간으로 나눈 정수로 바꿔 출력한다. 발표가 소개하는 방식은 항목마다 0에서 255 사이의 정수 하나를 고르는 것이고, 실제 제어 신호로 쓸 때는 디코딩을 거쳐 연속값으로 복원한다.

이렇게 이산화된 값 하나하나가 action token이다. 즉 로봇 제어가 연속값을 직접 맞히는 문제가 아니라 토큰을 순서대로 고르는 문제로 바뀐다.

behavioral cloning과 co-fine-tuning

behavioral cloning은 시연의 observation과 action 쌍을 지도학습으로 흉내 내는 방법이다. RT-1은 사람이 만들어준 시연 데이터(demonstration)만으로 이 방식으로 학습한다.

co-fine-tuning은 로봇 데이터와 웹 데이터를 한 배치에 섞어 함께 fine-tuning하는 레시피다. RT-2가 웹에서 얻은 지식을 잃지 않으면서 로봇의 행동 감각을 더하기 위해 쓰는 방식이며, 발표는 이 균형 유지를 논문의 핵심 포인트 중 하나로 꼽는다.

방법

RT-1의 텐서 흐름

RT-1은 이미지와 지시문(instruction) 두 가지를 입력받는다. 발표는 두 입력이 단계마다 어떤 크기의 텐서로 바뀌는지를 수치로 제시한다.

이미지 쪽 인코더는 pre-training된 EfficientNet-B3다. 발표에 따르면 여러 계층의 convolution, 활성화, pooling을 거치며 이미지가 점점 작아지는 대신 더 많은 시각 정보를 담게 된다.

발표자는 이 과정을 바둑판에 비유한다. 이미지를 9×9 조각으로 나누면 조각마다 512개의 필터가 특징을 분석하는데, 어떤 필터는 수직 엣지를 찾고 어떤 필터는 색상 차이를, 또 어떤 필터는 반복되는 무늬를 감지한다. 즉 조각 하나마다 512개의 숫자가 생기고 이를 모두 합치면 9×9×512 크기의 feature map이 된다.

지시문 쪽은 Universal Sentence Encoder를 거쳐 512차원 벡터가 된다. 발표는 이 벡터가 문장의 의미를 압축한 것이라고 설명하며, "apple"이라는 단어가 음식, 과일, 색깔 있는 물체 같은 특징으로 표현된다는 예를 든다.

FiLM의 역할

FiLM은 따로 처리된 이미지와 언어를 잇는 지점이다. 발표는 이 레이어가 512개 채널 각각에 감마를 곱하고 베타를 더해 중요한 특징은 강조하고 중요하지 않은 것은 줄인다고 설명한다.

예로 드는 것은 "pick the apple"이라는 지시문이다. 사과처럼 생긴 모양에 반응하는 채널은 감마값을 키워 강조하고, 배경처럼 중요하지 않은 채널은 베타값을 조정해 억제한다.

Transformer는 순서 있는 벡터 시퀀스를 입력으로 받으므로, 조건화된 feature map은 81개의 visual token으로 평탄화된다. 그다음 TokenLearner가 그중 가장 중요한 8개만 남겨 Transformer로 넘긴다.

RT-1의 출력

RT-1의 Transformer는 decoder-only 구조이며, visual token과 언어 임베딩을 받아 11개의 정수를 순서대로 출력한다. 각 값은 0에서 255 사이이고 디코딩을 거쳐 원래의 연속값으로 복원된다.

발표가 드는 예시는 다음과 같다. 128은 base의 X 좌표, 100은 그리퍼 열림 정도, 1은 작업 종료 신호에 해당한다. 즉 숫자 토큰 11개를 출력해 디코딩하면 물리 제어 명령이 된다.

학습 데이터는 로봇 13대가 17개월 동안 모은 약 13만 개의 실제 로봇 시연이고, 학습 방식은 behavioral cloning이다. 발표는 단일 네트워크가 이 데이터로 여러 작업을 함께 배울 수 있다는 점을 RT-1의 성과로 짚는다.

RT-2의 텐서 흐름

RT-2는 입출력 구조가 RT-1과 같지만 내부 처리가 다르다. 이미지와 언어를 따로 처리한 뒤 FiLM으로 결합하는 단계가 없고, pre-training된 VLM 하나가 전체 처리를 담당한다.

텍스트 쪽은 토크나이저가 문장을 단어 단위로 나누고 각 단어를 고유한 정수 ID로 바꾸는 데서 시작한다. 이 정수 토큰이 임베딩 레이어를 지나 고정 차원 벡터가 되고, self-attention 블록을 거치며 단어 사이의 의미 관계가 잡힌다. 발표는 모델이 "red"가 "cup"과 연결된다는 것을 스스로 이해하게 된다고 설명한다.

이미지 쪽은 PaLI-X의 Vision Transformer 인코더로 들어간다. 224×224 이미지가 16×16 패치 196개로 잘리고 각 패치가 평탄화되어 768차원 벡터가 된다. 여기에 position embedding을 더하고 self-attention을 적용해 이미지 안에서 어떤 위치가 중요한지 판단한다.

두 토큰 스트림의 결합

발표가 RT-2의 핵심으로 지목하는 지점은 텍스트 토큰과 이미지 토큰을 같은 시퀀스로 이어 붙여 하나의 Transformer에 넣는다는 점이다. 이어 붙인 시퀀스가 멀티모달 인코더로 들어가면 cross-attention이 일어난다.

cross-attention은 이미지 토큰이 문장의 어떤 단어와 연결되는지, 문장 토큰이 이미지의 어떤 영역과 관련되는지를 함께 판단한다. 예를 들어 "red"라는 단어는 이미지 속 빨간 물체에 강하게 주목하도록 학습되고, "cup"이라는 단어는 컵 형태의 패치와 연결된다.

디코더는 문장을 생성하듯 숫자 토큰 시퀀스를 만들고, 이 숫자 하나하나가 로봇의 제어 파라미터가 된다. 항목 수가 11개이고 각 항목이 0에서 255 사이 정수로 표현되는 것까지 RT-1과 같다.

차이는 그 토큰이 놓이는 자리에 있다. RT-1이 정해진 11개 제어 변수에 대응하는 별도의 토큰 시퀀스를 냈다면, RT-2는 같은 숫자들을 VLM이 출력하는 텍스트 토큰 안에 일부러 통합한다. 즉 로봇 action을 언어처럼 취급해 VLM의 학습 형식에 맞춘다.

co-fine-tuning으로 유지하는 균형

RT-2는 VLM을 그대로 가져와 제어에 바로 쓰지 않는다. 발표는 기존 VLM이 가진 인터넷 지식을 유지하면서 로봇 시연 데이터도 함께 학습하는 co-fine-tuning을 쓴다고 설명한다.

발표자가 붙인 풀이는 다음과 같다. 웹에서 학습한 데이터로는 지식을, 로봇 시연 데이터로는 행동 감각을 배우게 하고 두 데이터를 섞어 함께 학습시킨다는 것이다. 따라서 이전 로봇 데이터에 없던 지시문이나 상황도 이해하고 수행할 수 있게 된다.

발표가 정리한 두 모델 비교

발표는 14분 지점부터 두 모델의 차이를 항목별로 나열한다. 아래 표는 그 순서를 그대로 옮긴 것이다.

발표는 FiLM 레이어 항목도 비교에 넣었으나 자동 자막의 RT-2 쪽 설명이 훼손되어 원어를 복원하지 못했다. 그래서 위 표에서는 그 항목을 제외했다.

실시간성 항목에는 단서가 하나 붙는다. 발표는 RT-2도 작은 모델을 쓰면 RT-1 수준의 성능을 낼 수 있다고 덧붙인다.

결과

발표는 성공률 같은 정량 벤치마크를 다루지 않는다. 대신 RT-2가 수행하는 지시문 사례와 두 모델의 규모 수치를 제시한다.

발표가 제시한 지시문 사례

세 사례는 모두 로봇 데이터에 그대로 있던 조합이 아니다. 학습에 없던 조합을 모델이 실행해내는 이 성질을 emergent capability라 부르며, 발표는 상징 이해와 조건 처리가 가능해진 점을 RT-2의 발전으로 짚는다. 영상 후반에는 "가장 작은 물체"와 "심장 모양 위" 같은 표현도 같은 범주의 예로 언급된다.

chain-of-thought 기반 제어

발표는 RT-2가 지시문에 반응만 하는 것이 아니라 스스로 추론한 뒤 결론을 내리는 사례도 소개한다. 사용자가 망치를 들고 못을 박아 달라고 명령한 상황이 예시다.

이때 모델은 "망치가 필요하다, 주변에 망치가 없다, 돌이 있다, 돌을 망치로 쓰자"는 추론을 텍스트로 먼저 생성하고 그다음에 실제 동작을 위한 숫자 토큰을 이어서 낸다. 발표는 이를 chain-of-thought 기반 제어라 부르며, 언어 모델의 추론 능력을 제어에 직접 활용한 사례로 평가한다.

발표가 제시한 규모 수치

발표는 두 모델의 크기 차이를 압도적이라고 표현한다. 35M과 55B는 파라미터 수로 1,000배가 넘는 차이이며, 실시간성 항목에서 RT-2가 클라우드 TPU를 요구하는 이유가 이 규모에서 설명된다.

발표가 꼽은 RT-2의 진화 지점

발표는 RT-2가 RT-1보다 구조적으로 나아간 지점을 세 가지로 정리한다.

• 언어와 action의 통합. 로봇의 action을 자연어 토큰처럼 다루어 텍스트와 action을 같은 시퀀스로 학습했다.
• 지식 전이. pre-training된 VLM이 이미 갖춘 개념, 상식, 관계 이해를 로봇 제어로 옮겼다.
• 균형 유지. co-fine-tuning으로 웹 지식을 잃지 않으면서 로봇 데이터를 추가 학습했다.

발표자는 이 변화를 보고 듣고 따라 하는 로봇에서 이해하고 판단해서 행동하는 로봇으로의 이동이라고 표현한다.

한계

• 정량 벤치마크가 없다. 발표는 아키텍처 설명에 집중하므로 seen과 unseen 성공률, distractor나 background 변화에 대한 강건성 같은 수치는 다루지 않는다. 수치가 필요하면 아래 원논문 페이지의 결과 절을 봐야 한다.
• 자동 생성 자막이라 고유명사 오인식이 잦다. EfficientNet이 "이피시언트넷", PaLI-X가 "팔리엑스", PaLM-E가 "파미", FiLM이 "필름", RT-1이 "알티어"로 옮겨졌다. 숫자와 고유명사는 원논문 페이지와 대조해 확인했다.
• 복원하지 못한 구간이 남아 있다. 비교표의 FiLM 항목에서 RT-2 쪽 설명이 훼손되었고, chain-of-thought를 소개하는 대목에서 "일련의 추론"으로 짐작되는 표현도 자막에서는 다른 단어로 옮겨졌다.
• 도식 근거가 없다. 화면에 원논문 다이어그램이나 자체 제작 슬라이드가 등장하는지는 자막만으로 확인할 수 없어 키프레임 캡처를 보류했다. 따라서 이 페이지에는 임베드된 도식이 없다.
• 다루는 범위가 두 편으로 한정된다. RT-1과 RT-2 이후의 계보는 같은 채널의 후속 서베이 영상이 다룬다.

발표 노트

이 페이지의 근거는 논문이 아니라 영상 자막이다. 따라서 발표 자체의 구성과 성격을 따로 적어 둔다.

• 구성은 배경, RT-1, RT-2, 비교, 마무리 순이다. 앞 4분은 기존 로봇 제어의 한계와 foundation model 도입 근거에 쓰고, 4분 지점부터 RT-1 설명이 시작되며, 9분 무렵 RT-2로 넘어가 14분 지점부터 두 모델을 항목별로 비교한다.
• 발표자가 원논문에 없는 설명을 덧붙인 곳이 세 군데다. CNN을 바둑판 9×9 조각에 비유한 대목, "apple" 임베딩이 음식이나 과일 같은 특징으로 표현된다고 풀이한 대목, FiLM의 채널별 계산을 예시 수치로 보여준 대목이다.
• 대상 독자는 로봇 개발자다. 발표자는 논문의 챕터별 주요 내용과 기술적 핵심을 실제 시스템 적용에 도움이 되도록 리뷰하겠다고 서두에 밝힌다.
• 마무리는 기술 요약이 아니라 진로 메시지다. 스마트홈, 병원, 공장, 재난 현장에서 사람과 협업하는 로봇을 전망하고 시청자에게 무엇을 준비하고 있는지 묻는다.

핵심 용어

관련 페이지

• RT-1: Robotics Transformer for Real-World Control at Scale: 이 영상이 리뷰하는 첫 번째 원논문. 발표가 다루지 않은 성공률과 설계 ablation이 여기 있다.
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control: 두 번째 원논문. co-fine-tuning의 데이터 비율과 emergent capability 평가가 여기 있다.
• 03-03. RT-1 - 모두의 로보틱스 - VLA 입문: RT-1의 한국어 입문 해설. 이 영상보다 개념 풀이가 자세하다.
• 03-04. RT-2 - 모두의 로보틱스 - VLA 입문: RT-2의 한국어 입문 해설. action token과 co-fine-tuning을 단계별로 설명한다.
• Physical AI 핵심 논문 14편 리뷰 | 2025년까지의 기술 흐름 총정리: 같은 채널의 후속 서베이 영상. 이 영상이 다룬 두 편을 출발점 삼아 VLA 계보 전체로 확장한다.
• Physical AI 카테고리 지도와 학습 경로: physical-ai 카테고리의 분류 뼈대와 학습 경로 허브.