LaRA-VLA

요약

LoveJu1y/LaRA-VLA는 ICML 2026 논문 "Latent Reasoning VLA"(Latent Reasoning VLA: Latent Thinking and Prediction for Vision-Language-Action Models)의 공식 구현 저장소다. LaRA-VLA는 VLA가 action을 내기 전의 chain-of-thought(CoT)를 텍스트로 생성하지 않고 thinking 토큰 자리의 연속 latent로 수행하게 만든 모델이며, 저장소는 이 모델의 학습, 평가, 배포 코드를 담은 laravla 패키지를 제공한다.

저장소는 오픈소스 VLA 코드베이스 StarVLA를 바탕으로 만들어졌다. backbone은 Qwen3-VL-4B이고 action head는 16층 DiT다. 학습은 "다단계 VLM 학습" 스크립트(논문의 Stage I과 II)와 "단일 단계 VLA 학습" 스크립트(논문의 Stage III) 두 묶음으로 나뉘며, LIBERO와 SimplerEnv 평가 진입점, websocket policy server가 함께 들어 있다. 학습 데이터셋 2종과 학습된 모델 2종은 Hugging Face에 공개됐다.

저장소 개요

README NEWS에 따르면 학습 코드, 평가 코드, 학습된 가중치, 학습 데이터셋이 모두 공개됐다. 다만 Bridge 데이터셋 공개본에는 원본 영상 디렉터리가 빠져 있다 (아래 "데이터 준비" 참고).

핵심 개념

implicit CoT 모드. 공개 저장소의 기본이자 유일한 추론 모드는 cot_mode: implicit다. 추론 시 CoT 텍스트를 생성하지 않고, <|start_of_thinking|>와 <|end_of_thinking|> 사이의 <|thinking|> 토큰 자리에서 latent로만 추론한다. 공개 일정 문서는 저장소의 주 경로를 이 모드로 수렴시켰다고 적는다.

reasoning stage. bridge_reasoning.stage는 학습 문자열 형식을 정하는 값이다. stage 1은 Subtask, BBox, Reasoning 문장을 명시적으로 쓰고, stage 2 이상은 이 텍스트를 앞에서부터 thinking 토큰으로 대체한다. 이 값을 1에서 4까지 올리는 과정이 논문의 curriculum이다.

training stage. framework.training_stage는 학습 대상을 정한다. reasoning_only는 VLM만 학습하고, full은 DiT action head까지 함께 학습한다.

img_next. <img_next> 토큰이 다음 프레임의 visual latent를 예측한다. 해상도 112×112 이미지를 2×2 merge하면 16개 토큰이 되며, 논문 부록의 학습 문자열 예시에서 <img next>가 16개인 것과 같다.

패키지 구조

action head 디렉터리에 여러 종류가 남아 있는 것은 StarVLA 코드베이스에서 물려받은 구조이며, 공개 설정이 쓰는 것은 DiT-B다. 설정의 framework.name도 아직 QwenGR00T로 남아 있고, docs/rename_starvla_to_laravla_plan.md가 있는 것으로 보아 StarVLA에서 LaRA-VLA로 이름을 바꾸는 정리 작업이 진행 중이었다.

설치와 데이터 준비

설치

conda로 Python 3.10 환경을 만들고 pip install -r requirements.txt, pip install -e .로 설치한다. 설치 확인은 python -c "from laravla.training.train import main; print('OK')"로 한다.

데이터 준비

학습 전에 환경 변수 세 개를 지정한다.

annotations/에는 논문의 자동 주석 파이프라인이 만든 CoT 문장(episode_dense_captions_full*.jsonl)과 SAM3 기반 bbox(episode_sam3_bboxes_*.jsonl)가 들어간다.

주요 설정값

두 설정 파일은 backbone, 추론 토큰, action head 구조를 공유하고, 데이터와 action horizon만 다르다.

action horizon은 한 번의 추론으로 내는 미래 action 개수다. LIBERO의 8과 Bridge의 16은 논문 부록 A의 값과 같다. 추론 denoising step 4는 DiT가 노이즈에서 action을 만들 때 반복하는 횟수로, 추론 지연을 짧게 유지하는 요인 중 하나다.

학습 절차

논문 단계와 스크립트의 대응

저장소는 논문의 3단계 학습을 스크립트 두 묶음으로 나눈다.

즉 다단계 스크립트로 VLM의 latent 추론을 먼저 완성하고, 그 checkpoint를 단일 단계 스크립트의 PRETRAINED_CKPT로 넘겨 action head를 붙이는 순서다. stage 2~4는 thinking 토큰 수를 1, 2, 3개로 늘리는 논문 Stage II의 세 하위 단계에 해당한다.

다단계 스크립트 설정

img_next 손실 가중치가 stage 3부터 0.2로 오르는 것은 텍스트 감독이 줄어드는 만큼 visual 예측 감독의 비중을 높이는 논문의 설계(Stage II 후반 0.2 L_vis + L_act-dis)와 맞는다.

단일 단계 스크립트 설정

평가와 배포

평가는 LaRA-VLA 환경과 시뮬레이터 환경을 분리하고 policy server로 둘을 잇는 구조다.

실제 로봇 배포 문서(readme-deployment.md)에는 네트워크 인터페이스 설정과 frankx 설치 메모만 남아 있고, 논문의 Agilex Cobot Magic용 컨트롤러 코드는 없다.

결과

README의 결과표는 논문 Table 2, Table 3과 같다. 실제 로봇 결과와 추론 지연은 README에 없다.

README는 LIBERO 결과가 examples/LIBERO/README.md의 평가 절차에, Bridge 결과가 SimplerEnv 기반 절차에 대응한다고 적는다. 과제별 편차와 baseline 수치의 불일치는 논문 페이지에 정리돼 있다.

한계

논문 설정과의 차이

공개 스크립트의 일부 값은 논문 부록 Table 5와 다르다.

논문 수치를 재현하려면 이 값들을 Table 5에 맞춰 조정해야 할 수 있다.

공개 범위

• Bridge 데이터셋 공개본에 videos/가 없어 사용자가 원본 영상을 따로 마련해야 한다.
• 실제 로봇 데이터셋, 학습 설정, 컨트롤러 코드는 공개되지 않았고 policy server만 있다.

정리가 끝나지 않은 코드

공개 일정 문서(중국어)는 공개 준비를 7개 Phase로 나눠 진행 중이라고 적는다. 하드코딩 경로와 디버그 진입점 제거, 설정 정리, 문서 재작성, 라이선스 감사, 최소 검증과 CI가 포함된다. 수집 시점에도 다음 흔적이 남아 있다.

• bridge.yaml의 cot_path와 bbox_path가 /share/project/... 형태의 내부 절대 경로라 사용자가 고쳐야 한다.
• 설정의 framework.name이 QwenGR00T로 남아 있다.
• Bridge 다단계 스크립트에 reasoning_summary, reasoning_film 같은 실험용 옵션이 기본 꺼짐 상태로 남아 있다.

라이선스

저장소 전체는 MIT로 배포되지만 일부 파일은 원 저작권 헤더를 유지한다. THIRD_PARTY_NOTICES는 다음 출처를 나열한다.

문서는 Meta DiT 유래 models.py를 가장 라이선스에 민감한 파일로 지목하고, 안정 배포나 상업적 사용 전에 원 라이선스를 검토하라고 권고한다. 공개 일정 문서도 법률과 출처 검토가 아직 남아 있다고 적는다.

핵심 용어

관련 페이지

• Latent Reasoning VLA: Latent Thinking and Prediction for Vision-Language-Action Models: 이 저장소가 구현하는 논문. 방법, 데이터 파이프라인, 결과의 정본이다.
• Latent Reasoning VLA: Latent Thinking and Prediction for Vision-Language-Action Models (프로젝트 페이지): 같은 연구의 소개 페이지와 실제 로봇 rollout 영상.
• VLAct (starVLA/VLAct, GitHub repo): 같은 StarVLA 코드베이스에서 나온 다른 VLA 저장소.
• NVIDIA Isaac GR00T (N1.7): 데이터로더와 flow matching head 일부 파일의 출처.
• OpenVLA: An Open-Source Vision-Language-Action Model: 로깅 유틸리티의 출처이자 벤치마크 baseline.