GR00T N1.7 3B 체크포인트와 LeRobot 통합: 모델 카드 규격, 플랫폼별 추론 지연, fine-tuning과 rollout 레시피

요약

이 페이지는 GR00T N1.7 베이스 체크포인트 nvidia/GR00T-N1.7-3B를 두 자료로 함께 다룬다. 첫째는 NVIDIA가 Hugging Face에 올린 모델 카드와 같은 저장소의 설정 파일이고, 둘째는 LeRobot 저장소의 GR00T policy 문서(docs/source/groot.mdx)다. 모델 카드는 "이 모델이 무엇이고 어떤 하드웨어에서 얼마나 빠른가"를, LeRobot 문서는 "이 모델을 내 데이터와 내 로봇에 어떻게 붙이는가"를 답한다.

GR00T N1.7은 humanoid를 포함한 여러 로봇에 공통으로 쓰는 3B parameter 규모의 cross-embodiment VLA다. Cosmos-Reason2-2B VLM backbone이 이미지와 지시문(instruction)을 해석하고, flow matching 방식의 DiT action head가 로봇 상태를 조건으로 연속 action을 생성한다. 모델 카드는 13개 데이터셋, 2,160만 data point로 학습했고 GB200 GPU 256개로 120시간이 걸렸다고 밝힌다.

두 자료가 주는 핵심 수치는 다음과 같다.

GitHub 공식 구현(NVIDIA Isaac GR00T (N1.7))이 설치 절차와 embodiment tag 체계, N1.6 대비 변경점을 다룬다면, 이 페이지는 체크포인트 자체의 규격과 LeRobot 경로의 사용법에 집중한다. 두 페이지를 함께 읽으면 N1.7을 받아서 실제 로봇에 올리기까지의 정보가 대부분 채워진다.

배경

GR00T는 NVIDIA가 2025년 N1부터 공개해 온 humanoid용 foundation model 계열이다. N1 논문(GR00T N1: An Open Foundation Model for Generalist Humanoid Robots)은 VLM이 느린 주기로 장면을 해석하고 DiT가 빠른 주기로 action을 내는 dual-system 구조를 제시했다. 이후 N1.5(GR00T N1.5), N1.6을 거쳐 N1.7에서 backbone이 Cosmos-Reason2-2B로 교체됐다.

모델이 세대를 거듭하면서 배포 경로도 둘로 나뉘었다. NVIDIA의 Isaac-GR00T 저장소는 자체 CLI와 server-client 추론 구조를 제공하고, Hugging Face의 LeRobot은 여러 policy가 같은 데이터 형식과 학습 CLI를 공유하는 프레임워크 안에 GR00T를 하나의 policy type으로 넣었다. 즉 같은 체크포인트를 두 생태계 중 어디서 다룰지 고를 수 있다.

Hugging Face 모델 카드는 두 경로가 공통으로 내려받는 가중치의 정본이다. NVIDIA 모델 카드는 정해진 양식(설명, 라이선스, 아키텍처, 입출력, 소프트웨어 통합, 학습 데이터, 평가, 윤리)을 따르므로 성능 서술은 짧은 대신 규격과 비용 정보가 구조화되어 있다.

핵심 개념

policy는 현재 observation을 받아 다음 action을 정하는 함수를 말한다. GR00T N1.7은 이미지, 지시문, 로봇 상태를 observation으로 받아 여러 timestep의 action을 한 번에 출력하는 policy다.

embodiment는 특정 형태와 센서, 액추에이터 구성을 가진 로봇 본체를 뜻한다. cross-embodiment 모델은 한 가중치로 팔 하나짜리 로봇부터 humanoid까지 여러 embodiment를 다룬다. 로봇마다 관절 수가 다르므로 GR00T는 state와 action을 최대 132차원까지 padding하고, embodiment마다 별도의 입출력 MLP를 둔다.

embodiment tag는 데이터가 어떤 로봇에서 왔는지 가리키는 문자열 키다. 모델은 이 tag로 어느 MLP 슬롯을 쓸지 정한다. LeRobot에서는 --policy.embodiment_tag로 지정하며, pre-training에 없던 로봇은 new_embodiment를 쓴다.

proprioception은 관절 위치와 속도, end-effector 자세처럼 로봇이 자기 몸 상태를 재는 센서 신호를 말한다. 모델 카드는 이를 State 입력으로 부른다.

action chunk는 한 번의 추론으로 출력하는 연속된 여러 timestep의 action 묶음이다. N1.7 체크포인트의 action horizon은 40이지만, LeRobot fine-tuning 예시는 chunk 크기 16을 쓰고 실제 기기 rollout에서는 그중 8개만 실행한다.

flow matching은 noise에서 데이터로 향하는 vector field를 학습해 샘플을 만드는 생성 기법이다. DiT는 diffusion transformer의 약자로, 이 생성 과정을 Transformer로 구현한 모델이다. GR00T의 action head는 noise가 섞인 action 토큰을 4 step에 걸쳐 정제해 최종 action을 만든다.

real-time action chunking은 로봇이 이전 action chunk를 실행하는 동안 다음 chunk를 비동기로 계산하고, 두 chunk가 매끄럽게 이어지도록 보정하는 추론 방식이다. execution horizon은 예측한 chunk 중 다음 추론 전까지 실제로 실행하는 action 개수를 뜻한다. LeRobot rollout 예시는 둘을 함께 켠다.

모델 구조

전체 흐름

GR00T N1.7은 pre-training된 vision encoder와 language encoder 위에 flow matching action transformer를 결합한 구조다. 모델 카드는 이를 GR00T 계열의 "medium-sized version"이라 부르고, 세부 설계는 N1 White Paper(arXiv 2503.14734)에 맡긴다.

구조도는 왼쪽에서 오른쪽으로 읽는다. 카메라 이미지는 encode되어 image 토큰이 되고, "Pick up the industry object and place in yellow bin." 같은 지시문은 tokenize되어 text 토큰이 된다. 두 토큰 묶음은 VLM(System 2)을 통과한다. 관절 위치, 관절 속도, base 위치, end-effector 자세로 이루어진 robot state는 VLM을 거치지 않고 별도로 encode되어 DiT(System 1)로 직접 들어간다. DiT는 VLM 출력, state 인코딩, noise가 섞인 action 토큰을 함께 받아 denoising을 반복하고, 최종 action 토큰이 humanoid의 motor action이 된다.

이 그림은 N1 논문의 Model Overview 그림과 같은 도식이다. LeRobot 문서도 같은 그림을 캡션과 함께 싣는다. 따라서 그림 자체는 N1.7 고유의 변경(backbone 교체, action 차원 확대)을 보여 주지 않고 GR00T 계열 공통 골격을 보여 준다.

구성 요소

모델 카드의 Network Architecture 절은 다섯 구성 요소를 다음과 같이 서술한다.

AdaLN은 diffusion step 같은 조건 정보로 layer normalization의 scale과 shift를 조절하는 방식이다. DiT가 지금 몇 번째 denoising step인지를 이 경로로 알게 된다. velocity 예측은 flow matching에서 현재 noisy action이 정답 action 쪽으로 이동해야 할 방향과 크기를 예측하는 것을 말한다.

표의 SigLip2와 T5 서술은 카드 상단의 "VLM backbone is now Cosmos-Reason2-2B" 문구와 맞지 않는다. Cosmos-Reason2-2B는 Qwen3-VL 계열 VLM이며, LeRobot 문서와 GitHub README 모두 N1.7 backbone을 Cosmos-Reason2/Qwen3-VL로 적는다. 따라서 표의 encoder 서술은 이전 세대 카드 문구가 남은 것으로 보고, backbone은 Cosmos-Reason2-2B로 이해하는 것이 맞다. 카드의 Cosmos-Reason2-2B 링크가 실제로는 nvidia/Cosmos-Reason2-8B 페이지를 가리킨다는 점도 함께 확인해 둔다.

입력과 출력 규격

모델 카드는 입출력을 유형, 형식, 차원 세 가지로 정의한다.

입력 쪽에서 눈여겨볼 점은 카메라 수가 고정되지 않았다는 것이다. 손목 카메라 하나만 있는 로봇도, 여러 대를 단 humanoid도 같은 모델을 쓴다. 출력은 시간(chunk 길이)과 action 차원을 함께 갖는 2D 배열이며, 각 값은 로봇의 모터 제어 값에 대응한다. 실제로 의미 있는 차원 수는 해당 embodiment의 자유도에 따라 달라진다.

config.json의 하이퍼파라미터

모델 카드 본문에는 하이퍼파라미터가 없지만, 같은 저장소의 config.json이 실제 값을 담고 있다.

select_layer 16은 backbone의 마지막 층이 아니라 16번째 층의 hidden state를 action head에 넘긴다는 뜻이다. N1 논문은 최종 층 대신 중간 층 임베딩을 쓰면 추론이 빨라지고 downstream 성공률도 높았다고 보고했고(N1은 12번째 층 사용), N1.7도 같은 방식을 유지한다. VLM 출력과 DiT 사이에는 4층 self-attention이 더 있어 VLM 특징을 action 생성에 맞게 한 번 더 가공한다.

state_dropout_prob 0.2는 학습 중 state 입력을 20% 확률로 지워 proprioception에 과도하게 기대지 않게 하는 정규화다. 이미지 쪽에는 color jitter(밝기 0.3, 대비 0.4, 채도 0.5, 색상 0.08)와 crop 비율 0.95가 기본 augmentation으로 설정되어 있다.

이 값 일부는 GitHub README가 적은 N1.7 설정과 다르다.

EA는 Early Access, GA는 General Availability를 뜻한다. Hugging Face 저장소의 최종 수정일이 2026-04-23이고 카드가 EA를 표기한다는 점을 함께 보면, 체크포인트의 config.json과 GitHub GA 코드의 기본 설정이 서로 다른 시점의 값일 가능성이 있다. 두 값이 충돌할 때는 실제로 로드하는 체크포인트의 config.json이 모델 구조를 결정한다.

embodiment ID 매핑

embodiment_id.json은 embodiment tag 문자열을 MLP 슬롯 번호(0~29)에 대응시킨다. 이 파일을 보면 N1.7이 어떤 데이터로 학습했는지 간접적으로 확인할 수 있다.

같은 로봇 안에서도 action 표현에 따라 tag가 갈린다. real_r1_pro_sharpa 하나에 relative_eef, delta_eef, absolute_eef, relative_joint, meanstd 변형이 붙어 있다. 이는 GitHub README가 N1.7의 핵심 변경으로 꼽은 relative EEF action space 실험의 흔적으로 읽힌다. relative EEF action space는 action을 절대 목표 자세가 아니라 현재 end-effector 자세로부터의 변화량으로 적는 표현이다.

슬롯은 로봇 하나에 하나씩이 아니라 state와 action 배열 구조가 같은 데이터 묶음 단위로 배정된 것으로 보인다. real_r1_pro_sharpa_relative_eef_human과 agibot이 모두 26번이고, gr1_unified와 oxe_bridge가 같은 20번을 공유한다. 32개 슬롯 중 실제로 쓰인 번호는 03, 13, 1729이므로, 자기 로봇을 붙일 때 쓸 수 있는 빈 슬롯이 남아 있다.

학습 데이터와 비용

데이터 구성

모델 카드는 학습과 평가 데이터를 합쳐 2,160만 data point, 데이터셋 13개라고 밝힌다. 학습 데이터의 이름은 GR00T Pretraining Data이며, 수집 방식은 사람, 로봇, 시뮬레이션 혼합이고 라벨링은 사람과 자동 혼합이다. 센서는 RGB 카메라, proprioception, 액추에이터 데이터다.

LeRobot 문서는 같은 데이터를 출처 기준으로 세 가지로 나눈다.

LeRobot 문서는 GR00T의 성능이 이렇게 넓고 다양한 humanoid 데이터에서 나온다고 설명하고, 그 결과 post-training으로 특정 embodiment, 과제, 환경에 쉽게 적응한다고 적는다.

학습 비용

모델 카드는 학습 비용을 계산식과 함께 공개한다.

계산식의 0.8은 평균 전력 사용률, 1.4는 냉각 같은 데이터센터 부대 설비를 반영한 계수로 보이지만 카드는 계수의 의미를 설명하지 않는다. 3B 규모 모델을 GB200 256개로 5일간 학습한 셈이며, 이 규모는 개인이나 소규모 연구실이 처음부터 재현하기 어렵다. 따라서 이 체크포인트를 받아 post-training하는 것이 일반적인 사용 방식이다.

모델 패밀리와 평가

post-training 체크포인트 4종

모델 카드는 베이스 모델 외에 벤치마크 데이터로 post-training한 4개 모델을 소개한다.

trajectory는 한 episode 동안 기록된 observation과 action의 시간 순서열을 말한다. DROID는 실험실 밖 실제 환경에서 수집한 대규모 manipulation 데이터셋이고, LIBERO는 과제를 순차적으로 배우며 지식 전이와 지속 학습을 평가하는 lifelong robot learning 벤치마크다. manipulation은 팔과 손으로 물체를 다루는 과제 영역을 말한다.

Fractal 항목은 데이터 링크와 요약이 Bridge 항목을 그대로 복제한 상태다. Fractal은 Google 로봇 데이터를 가리키는 이름이므로 이는 카드의 편집 오류로 보인다. embodiment_id.json에서도 Bridge(simpler_env_widowx)와 Fractal(simpler_env_google)은 서로 다른 슬롯을 쓴다.

평가 항목

모델 카드는 평가를 White Paper 정의에 따른다고 적고 항목만 나열한다.

이 목록은 N1 White Paper의 평가 구성과 같고, 카드에는 성공률 수치가 없다. N1.7의 정량 성능은 다음 절의 LeRobot LIBERO 결과가 이 두 자료에서 확인할 수 있는 유일한 수치다.

LeRobot 통합 구현의 LIBERO 결과

LeRobot 문서는 LeRobot 통합 구현(GR00T-LeRobot)으로 얻은 LIBERO 예비 결과를 공개한다. suite마다 episode 50회 이상으로 평가했다. episode는 과제 시작부터 종료까지의 한 실행 단위다.

GR00T N1.7은 물체 종류를 바꾸는 Object suite에서 100%를 기록했고, 여러 하위 과제를 이어서 수행하는 LIBERO 10에서 93%로 가장 낮았다. 두 suite의 차이는 7%p다. 즉 과제 길이가 길어질수록 성공률이 내려가는 경향이 있지만, 가장 어려운 suite에서도 90%를 넘는다.

문서는 이 수치를 "preliminary"로 표기하고, 성공률을 보고할 때 suite당 episode 50회 이상을 쓰라고 권고한다. 체크포인트 이름의 640이 무엇을 뜻하는지는 문서에 설명이 없다.

추론 성능

플랫폼별 지연 시간

모델 카드는 denoising 4 step, 카메라 1대 조건에서 9개 플랫폼의 추론 지연 시간을 세 가지 실행 모드로 측정한 표를 싣는다. E2E는 데이터 처리부터 action 출력까지의 전체 지연 시간이고, Frequency는 그 역수로 계산한 초당 추론 횟수다.

Orin은 TensorRT 10.3이 backbone engine을 지원하지 않아 DiT만 TensorRT로 실행한다(--inference-mode tensorrt). 나머지 플랫폼은 backbone과 action head를 모두 TensorRT로 실행한다(--inference-mode trt_full_pipeline). 카드의 Inference 절은 별도로 테스트 하드웨어를 A6000이라고 적지만, A6000은 위 표에 없다.

표의 해석

PyTorch Eager에서는 action head가 가장 느린 단계다. H100 기준 action head가 48.2 ms로 backbone 31.3 ms보다 길다. backbone은 한 번만 실행되지만 DiT는 denoising step 4번마다 다시 실행되기 때문이다.

실행 모드마다 줄어드는 단계가 다르다.

즉 torch.compile만으로도 E2E가 85.8 ms에서 48.6 ms로 줄고, backbone까지 TensorRT로 바꾸면 27.9 ms까지 내려간다. 데이터 처리 6.2 ms는 어떤 모드에서도 변하지 않으므로, TensorRT 모드에서는 E2E의 약 22%를 차지한다.

edge 플랫폼의 가속 폭은 데이터센터 GPU보다 작다. 데이터센터 GPU의 TensorRT 가속비가 2.45x~3.34x인 반면 DGX Spark는 1.28x, AGX Thor는 1.54x, Orin은 1.58x다. 특히 Orin은 backbone을 TensorRT로 바꿀 수 없어 backbone만 128 ms가 걸리고, 최대 4.6 Hz에 그친다.

이 수치를 control frequency와 연결해 읽어야 한다. control frequency는 로봇이 1초에 몇 번 새로운 action을 갱신하는지를 뜻한다. GR00T는 한 번 추론에 action 여러 개를 내므로, 추론이 4.6 Hz여도 chunk의 action을 차례로 실행하면 로봇의 control frequency는 그보다 높게 유지된다. 다만 추론 간격이 길수록 새 observation이 반영되기까지의 지연이 커지므로, LeRobot rollout처럼 real-time action chunking으로 다음 chunk를 미리 계산하는 방식이 edge 배포에서 특히 중요하다.

지원 환경

LeRobot에서 사용하기

통합 방식과 지원 버전

LeRobot은 GR00T N1.7을 groot policy type으로 통합한다. LeRobot은 여러 policy가 같은 데이터 형식과 학습 CLI를 공유하는 프레임워크이므로(LeRobot: State-of-the-art Machine Learning for Real-World Robotics in PyTorch), ACT나 π0 계열을 학습하던 명령에서 --policy.type만 바꾸면 GR00T를 쓸 수 있다.

현재 LeRobot 릴리스는 N1.7만 지원한다. N1.5 지원은 제거되었고, N1.5 체크포인트와 config는 migration 안내와 함께 거부된다. N1.5 체크포인트를 계속 쓰려면 N1.5를 지원한 마지막 릴리스인 lerobot==0.5.1로 버전을 고정해야 한다. LeRobot 저장소 이력에서 N1.7 policy는 2026-07-03에 추가됐고, LIBERO 결과와 체크포인트는 같은 달 5일과 8일에 갱신됐다.

설치

GR00T는 NVIDIA GPU 가속 시스템을 전제로 한다. 단계별로 필요한 extra가 다르다.

rollout용 extra는 SO-101 팔의 모터 제어(feetech)와 실행 중 데이터 시각화(viz)에 필요한 의존성을 묶은 것으로 보인다.

자기 데이터셋 fine-tuning

LeRobot 문서의 기본 예시는 SO-101 로봇 팔로 수집한 데이터셋을 fine-tuning하는 명령이다. SO-101은 pre-training에 없던 로봇이므로 new_embodiment tag를 쓴다. 학습 전에 hf auth login과 wandb login으로 Hugging Face와 Weights & Biases에 로그인하고, 결과 모델 저장소 이름은 {데이터셋}_GR00T17로 정한다.

chunk 크기 16은 체크포인트 기본값 40보다 작다. 저가 팔의 짧은 과제에서는 긴 chunk가 필요하지 않으므로 학습과 추론 부담을 줄인 설정으로 볼 수 있다.

relative action 옵션은 GitHub README가 N1.7의 핵심 변경으로 꼽은 relative 표현을 LeRobot에서 켜는 스위치다. 그리퍼를 relative 변환에서 빼는 이유는 문서에 설명되어 있지 않다. 그리퍼는 열림과 닫힘이라는 절대 상태가 의미를 갖는 관절이어서 변화량 표현이 맞지 않기 때문으로 보인다.

LIBERO 학습 레시피

LIBERO 학습 예시는 NVIDIA Isaac-GR00T 저장소의 LIBERO 예제 레시피를 LeRobot 명령으로 옮긴 것이다. libero_spatial suite를 예로 들며, 자기 데이터셋 레시피와 비교하면 다음이 다르다.

LIBERO 레시피의 ColorJitter 범위는 밝기 0.71.3, 대비 0.61.4, 채도 0.51.5, 색상 -0.080.08이다. 데이터 로딩에는 worker 4개, prefetch factor 2, persistent worker를 쓴다.

libero_sim tag는 embodiment_id.json의 2번 슬롯에 해당한다. 즉 LIBERO는 pre-training 단계에서 이미 슬롯이 배정된 embodiment라 new_embodiment 대신 전용 tag를 쓴다. relative action을 끈 것도 LIBERO 데이터와 공식 레시피가 절대 action 표현을 쓰기 때문으로 보인다.

학습 후 평가는 lerobot-eval에 --env.type=libero, --env.task=libero_spatial, --policy.embodiment_tag=libero_sim, --eval.n_episodes=50을 주어 실행한다. LIBERO 환경 설치는 LeRobot의 LIBERO 문서를 먼저 따라야 한다.

실제 기기 rollout

학습한 모델은 lerobot-rollout으로 실제 로봇에서 실행한다. 문서 예시는 SO-101 follower 팔에 손목 카메라와 정면 카메라를 연결하고 "place the vial in the rack" 과제를 60초 동안 실행한다. 두 카메라는 모두 640×480, 30 fps, MJPG 설정이며, 카메라 인덱스는 lerobot-find-cameras opencv로 확인한다.

학습 때 chunk 16개를 모두 실행하던 것과 달리 rollout은 8개만 실행한다. chunk 앞쪽 절반만 쓰고 다음 추론 결과로 넘어가면 새 observation이 더 자주 반영된다. real-time action chunking은 이 교체 시점에서 이전 chunk와 새 chunk가 끊기지 않도록 이어 붙이는 역할을 한다.

두 배포 경로 비교

같은 체크포인트를 NVIDIA 공식 저장소와 LeRobot 중 어디서 다룰지는 다음 기준으로 고른다.

GitHub README도 같은 분업을 명시한다. LeRobot 원생 학습과 평가와 rollout 흐름은 LeRobot 문서를, 모델 내부 구현과 배포 도구와 벤치마크별 예제는 Isaac-GR00T 저장소를 참고하라는 것이다. 위 모델 카드의 TensorRT 지연 시간 표는 Isaac-GR00T의 --inference-mode 옵션 기준이므로, LeRobot 경로에서 같은 속도가 나온다고 가정할 수는 없다.

한계

모델 카드와 LeRobot 문서 양쪽에 확인해 둘 한계가 있다.

모델 카드는 책임 있는 사용에 대한 안내도 붙인다. foundation model과 fine-tuning 모델을 시스템에 통합할 때는 use case별 데이터로 추가 시험이 필요하며, V-model 방법론에 따라 단위와 시스템 수준에서 반복 시험과 검증을 거쳐야 한다. V-model은 요구사항 정의부터 구현까지 내려간 뒤 단위 시험, 통합 시험, 시스템 시험으로 올라오며 각 단계를 대응시켜 검증하는 개발 방법론이다. 입력과 출력의 책임은 사용자에게 있고, 가드레일과 안전 장치는 배포 전에 직접 구현해야 한다. 세부 사항은 Explainability, Bias, Safety and Security, Privacy 하위 카드(Model Card++)로 넘긴다.

핵심 용어

관련 페이지

• NVIDIA Isaac GR00T (N1.7): 같은 N1.7 모델의 NVIDIA 공식 구현. 설치 제약, embodiment tag 체계, N1.6 대비 변경표를 다룬다.
• LeRobot: State-of-the-art Machine Learning for Real-World Robotics in PyTorch: groot policy type이 속한 프레임워크. 22종 policy가 같은 데이터 형식과 학습 CLI를 공유한다.
• GR00T N1: An Open Foundation Model for Generalist Humanoid Robots: 모델 카드가 아키텍처 설명을 위임하는 GR00T N1 White Paper. 구조도의 원 출처다.
• GR00T N1.5: LeRobot에서 지원이 제거된 이전 세대 N1.5의 공식 페이지.
• 03-13. Groot N1 - 모두의 로보틱스 - VLA 입문: GR00T N1의 dual-system 구조와 flow matching을 풀어 쓴 한국어 입문 해설.
• Technical Report: One-Step Drifting Action Heads for GR00T N1.7: N1.7 action head를 단발 평가형으로 바꿔 action head 지연 시간을 줄인 후속 연구. 이 페이지의 지연 시간 표에서 action head가 가장 느린 단계라는 점과 연결된다.
• GR00T-WholeBodyControl (GEAR-SONIC / Decoupled WBC / MotionBricks): N1.7과 UNITREE_G1_SONIC tag로 맞물리는 whole-body control 저장소.
• VLA 발전 과정과 3대 계열 비교: GR00T, π, Gemini Robotics: GR00T 계열을 π, Gemini Robotics와 세대별로 비교하는 overview.