AI Daybook
AI Daybook
오늘의 지면
논문Physical AI

WoVR+, 월드 모델로 VLA 정책 학습을 안정적으로 최적화

WoVR+: World Model as Reliable Simulator for Versatile VLA Policy Optimization with RL

매체
arXiv
게시
중요도
2/5
화제 지수
3

한국어 요약

시각-언어-행동(VLA) 모델의 강화학습을 위해 행동 조건부 월드 모델을 사용할 때, 환각으로 인한 정책 최적화 오류 문제를 다뤘다. WoVR+는 VLA 인터페이스 정렬 월드 모델과 청크 단위 노이즈로 환각을 완화하고 장기 과제를 위한 단계별 상상 훈련을 도입했다. RoboTwin과 실제 로봇 6개 과제에서 지도 학습 대비 각각 21.09%, 16.7% 성공률 향상, 장기 전화 포장 과제에서 30%에서 75%로 상승했다.

같은 소식, 다른 매체 · 1곳

원문 발췌 · English

Action-conditioned world models can reduce costly real-robot interaction in reinforcement learning for Vision-Language-Action models (VLA-RL), but hallucinations can mislead policy optimization. Extending them to richer VLA interfaces and long-horizon tasks raises challenges in spatiotemporal and cross-modal consistency, exploration-reliability balance in RL, and compounding rollout errors. We present WoVR+, extending WoVR's hallucination-aware WM-RL framework by redesigning the learned environment and imagined interaction protocol: A VLA-interface-aligned world model provides multi-view prediction and proprioceptive updates while mitigating hallucinations. Chunk-wise noise preserves flow-based policy exploration while limiting prediction-degrading action jitter. For long-horizon tasks, stage-local imagined training combines stage-entry resets, stage-specific rewards, local horizons, and controllable sampling to shorten generated prefixes and balance training across stages. WoVR+ improves success over SFT by 21.09% and 16.7% on RoboTwin and 6 real-robot tasks. Long-horizon phone-packaging success rises from 30% to 75%. Videos are available at https://youmo445.github.io/WoVR_Plus.github.io/.

#vla#world-model#robotics#reinforcement-learning
원문 기사 읽기
전체 보기 →