π*0.6: a VLA that Learns from Experience

요약

π0.6의 공식 발표 블로그다. Physical Intelligence가 2025년 11월 17일에 [[physical-ai/amin-2025-pistar06-a-vla-that-learns|π0.6 논문]]과 같은 날 공개했고, 수식과 ablation은 논문 쪽에 두고 문제의식을 사람의 학습 과정에 빗대어 풀어 놓았다.

이 글의 고유한 정보는 배치 규모 서술과 과제별 난점 묘사다. 논문이 throughput과 성공률 지표로 요약한 것을 블로그는 실행 시간과 물건 개수로 적는다. 예를 들어 에스프레소 과제는 새벽 5시 30분부터 밤 11시 30분까지, 즉 18시간 동안 끊김 없이 실행했다고 밝힌다.

따라서 두 페이지의 역할이 나뉜다. RECAP 학습 루프의 수식과 실험 세부는 논문 페이지가 담당하고, 이 페이지는 회사가 대중에게 무엇을 강조했는지와 배치 현장의 모습을 담는다.

배경

Physical Intelligence는 논문과 발표 블로그를 같은 날 내는 방식을 유지해 왔다. π0과 π0.5가 앞선 사례이고 이 글이 세 번째다. 함께 공개된 자료는 논문 PDF와 π0.6 model card, 그리고 무편집 실시간 영상 재생목록이다.

글의 도입은 상자 조립을 배우는 사람의 학습 순서다. 먼저 누군가에게 기본기를 배우고, 직접 해 보다 틀리면 코치가 고쳐 주며, 마지막에는 몸에 밸 때까지 혼자 연습한다. 저자들은 이 세 단계를 교육과 코칭과 연습으로 부른다.

저자들의 진단은 지난 1년의 로봇 학습 성과가 대부분 첫 단계에만 기댔다는 것이다. 즉 사람이 만들어준 시연 데이터(demonstration)로 policy를 학습시키는 데서 멈췄다.

그 한계는 성공률의 천장으로 나타난다. 절반쯤 성공시키기는 어렵지 않지만 매번 성공시키기는 어렵고, 복잡한 실세계 과제를 사람 수준의 throughput으로 해내기는 더 어렵다. throughput은 시간당 성공적으로 끝낸 과제 수를 뜻한다.

RECAP은 세 단계를 모두 구현한 학습 방법으로 제시된다. 블로그는 Recap으로, 논문은 RECAP으로 적으며, RL with Experience & Corrections via Advantage-conditioned Policies의 약어다. π0.6에 RECAP을 적용해 나온 모델이 π*0.6이다.

핵심 개념

이 절의 용어는 블로그가 본문에서 직접 풀이한 것들이다. 개념을 먼저 잡으면 뒤의 학습 절차가 그대로 읽힌다.

policy는 현재 observation을 받아 다음 action을 정하는 함수를 말한다. observation은 매 timestep에 policy가 받는 센서 입력이고, action은 policy가 출력하는 제어 명령이다.

compounding error는 policy의 작은 예측 오차가 다음 입력을 어긋나게 만들어 시간이 갈수록 커지는 현상이다. 블로그는 그리퍼를 엉뚱한 곳에 놓거나 집기를 놓치거나 물건을 넘어뜨리는 실수를 예로 든다.

coaching은 자율 실행 중 전문가가 teleoperation으로 조작을 넘겨받아 실수를 교정하는 일을 이 글이 부르는 이름이다. teleoperation은 사람이 로봇을 원격으로 움직여 시연을 만드는 방식이다. 논문에서는 같은 것을 intervention으로 적는다.

credit assignment는 어떤 action이 좋은 결과를 만들었고 어떤 action이 나쁜 결과를 불렀는지 가려내는 문제다. 실패가 뒤늦게 드러나도 원인이 된 앞선 action을 짚어내야 한다.

value function은 어떤 상황이 다른 상황에 비해 얼마나 좋은지를 예측하는 모델이다. 블로그는 체스에 빗대어, 현재 국면을 보고 이길 확률을 예측하는 모델에 가깝다고 설명한다.

advantage는 어떤 action이 평균보다 얼마나 나은지를 나타내는 값이다. 블로그는 이를 value의 변화량으로 소개한다. 즉 value가 오르는 방향의 action이 좋은 action이고 내려가는 방향이 나쁜 action이다.

policy extraction은 학습한 value function으로부터 실행할 policy를 뽑아내는 단계다.

방법

imitation learning만으로 부족한 이유

블로그는 imitation learning으로 학습한 VLA가 안정적으로 성공하지 못하는 원인부터 짚는다. imitation learning은 시연 데이터를 흉내 내 policy를 학습하는 방법이다. 원인 자체는 이미 잘 알려져 있고 근거로 DAgger 논문을 걸어 두었으나, 실용적인 해법이 없었다는 것이 이 글의 서술이다.

로봇이 실제 물리 환경과 맞물려 있다는 점이 문제를 키운다. 작은 실수가 학습 데이터에 없던 상황을 만들고, 그 상황에서 더 큰 실수가 나온다. 작은 실수 자체는 고칠 수 있지만 누적된 실수는 실패로 이어진다.

이 병목은 정적인 출력을 내는 시스템에는 생기지 않는다. 예를 들어 LLM은 출력이 다음 입력을 만들지 않는다. 반면 환경과 계속 주고받는 제어 policy에서는 출력이 곧 다음 입력의 조건이 된다.

해결의 실마리는 VLA 자신의 실행 데이터에 있다. 다만 그 데이터를 그대로 흉내 내게 하면 실수까지 따라 배우므로, 나쁜 experience에서 좋은 학습 신호를 뽑아내는 일이 관건이 된다. 여기서 experience는 로봇이 자율 실행하며 남긴 성공과 실패 기록을 가리킨다.

코칭으로 얻는 교정 신호

RECAP이 나쁜 experience에서 학습 신호를 얻는 경로는 두 가지다. 하나가 코칭이고 다른 하나가 강화학습이다.

코칭에서는 지금 가진 가장 좋은 policy를 실행하다가 로봇이 실수하는 순간 전문가가 수동 teleoperation으로 조작을 넘겨받는다. 이 개입 구간이 그대로 감독 신호가 된다.

개입이 원래의 시연 데이터와 다른 점은 상황의 출처다. 원래 시연은 사람이 만든 상황에서 나오지만, 개입은 policy가 스스로 만들어낸 상황에서 나온다. 따라서 compounding error를 직접 겨냥한다.

강화학습으로 얻는 자기 평가 신호

코칭만으로는 부족하다는 점을 블로그가 먼저 인정한다. 교정의 품질은 사람이 개입 시점을 알아채고 좋은 교정을 줄 수 있는 만큼까지만 올라간다.

따라서 코칭은 눈에 띄거나 심각한 실수에는 잘 듣지만, 빠르고 일관되게 해내는 수준까지는 데려가지 못한다. 연습 없이 종목을 마스터하는 운동선수는 없다는 비유가 여기에 붙는다.

나머지 경로인 강화학습에서는 로봇이 episode의 최종 결과를 보고 자기 행동의 좋고 나쁨을 스스로 판정한다. episode는 과제 시작부터 종료까지의 한 실행 단위다.

value function이 예측하는 값

강화학습으로 배우려면 credit assignment를 풀어야 하고, RECAP은 value function을 학습해 그 문제를 다룬다. 블로그가 드는 예가 에스프레소 머신의 포터필터다. 잘못 쥐면 나중에 장착에서 실패하는데, 진짜 실수는 장착이 아니라 처음의 grasp에 있다.

value function을 학습해 두면 value의 변화만 보고 action의 좋고 나쁨을 판정할 수 있다. 승리 가능성이 높아지는 국면으로 이끄는 체스 수가 좋은 수인 것과 같은 논리다.

블로그에는 슬라이더로 episode 진행에 따른 value 예측을 짚어 보는 인터랙티브 시각화가 붙어 있다. 여기서 value function이 예측하는 값은 과제 완료까지 남은 스텝 수에 음수를 붙인 것이고, 1.0은 episode를 성공적으로 끝냈다는 예측에 해당한다. 로봇이 진척을 내면 예측값이 올라가고 진척이 거의 없으면 평평하게 유지된다.

데이터를 버리지 않는 policy extraction

policy extraction에서 RECAP이 택한 방식은 좋은 데이터만 걸러 쓰는 대신 전부 학습에 쓰는 것이다. 대신 어느 action이 좋고 나쁜지를 value 변화량 주석으로 붙여 입력으로 알려 준다.

근거는 데이터 양과 일반화의 관계다. 모델은 데이터가 많을수록 일반화가 잘 되므로, 나쁜 데이터를 버리기보다 좋고 나쁨의 라벨을 붙여 남기는 편이 낫다는 논리다.

실행 시점에는 advantage가 높은 action을 하라고 지시한다. 그러면 학습 데이터보다 나은 policy가 나온다는 것이 이 방식의 요지다. 논문은 같은 내용을 advantage conditioning으로 형식화한다.

π0.6 모델 구성

π*0.6의 바탕인 π0.6은 π0.5를 다듬은 모델이다. backbone이 조금 커졌고 더 이질적인 프롬프트와 조건 정보를 받아들인다.

블로그가 밝히는 구성은 파라미터 50억 개 규모의 vision-language model에 action expert를 결합한 형태다. action expert는 로봇 상태와 action 토큰만 처리하도록 분리한 별도 가중치 묶음이다.

프롬프트에 들어가는 정보는 세 가지다.

• 텍스트로 된 명령
• 원하는 실행 품질에 대한 주석
• RECAP을 쓸 때 추가되는, 원하는 action advantage

아키텍처 상세는 블로그와 논문 모두 별도 model card로 넘긴다. 이 저장소에는 아직 그 model card가 없다.

pre-training 데이터에 들어간 과제 목록은 블로그에만 나온다. 침구 정리, 양초 켜기, 고양이 화장실 청소, 커피 만들기, 상자 조립, 주방 청소, 전구 교체, 식탁 치우기의 여덟 가지다. 목록만 봐도 π0.6이 겨냥한 범위가 드러난다.

RECAP 적용 순서

블로그가 적는 학습 순서는 세 단계다. 표로 옮기면 다음과 같다.

reward는 policy가 얼마나 잘했는지를 알려주는 스칼라 신호다.

결과

배치 규모

블로그가 앞세우는 성과는 지표가 아니라 배치 규모다. 세 과제를 각각 다음 조건에서 중단 없이 실행했다고 적는다.

이 시간 수치는 블로그 본문의 서술이다. 논문은 같은 에스프레소 배치를 13시간 연속으로 적어 두 자료의 숫자가 다르므로, 인용할 때 어느 쪽 자료인지 밝히는 편이 안전하다.

각 영상의 실시간 버전은 별도 재생목록으로 공개되어 있다. 편집 없이 몇 시간을 그대로 보여주는 형식 자체가 이 발표의 핵심 메시지다.

과제별 난점

블로그는 세 과제가 왜 어려운지를 논문보다 구체적으로 적는다.

dynamics는 상태가 action에 따라 어떻게 변하는지의 규칙을 뜻한다. 원단이 다르면 같은 동작에도 옷이 다르게 움직이므로 전략을 바꿔야 한다.

블로그는 이 세 과제의 각 단계가 현재 최고 수준의 VLA에도 어려운 일이라고 적고, π*0.6이 90%를 넘는 성공률로 수행한다고 밝힌다.

성능 그래프가 비교하는 네 모델

본문 그래프는 학습 단계별 모델 네 가지를 나란히 놓고 throughput과 성공률을 잰다.

개선이 가장 크게 나타나는 곳은 가장 어려운 과제다. 예를 들어 에스프레소는 로봇에서 모은 experience를 더했을 때 throughput과 성공률이 모두 두 배 이상 오른다. 어려운 과제 전반에서 실패율은 절반 이하로 내려간다.

과제마다 throughput의 규모 자체가 다르다는 점도 그래프에서 드러난다. 세로 눈금의 상한이 상자 조립은 시간당 16회, 에스프레소는 35회, 빨래는 70회로 잡혀 있다. 즉 상자 조립은 한 번에 오래 걸리는 과제이고 빨래는 상대적으로 회전이 빠른 과제다.

한계

블로그가 스스로 밝히는 한계는 코칭의 상한이다. 사람이 개입 시점을 알아채고 좋은 교정을 줄 수 있는 범위 안에서만 유효하므로, 눈에 띄는 실수를 잡는 수준 이상으로는 나아가지 못한다.

마지막 절은 지금의 로봇 foundation model이 안고 있는 제약을 셋으로 짚는다. 사람이 teleoperation으로 모은 시연 데이터에 주로 기대는 데서 오는 문제다.

• 데이터 확보에 사람 손이 든다
• 속도와 안정성이 사람 수준에 묶인다
• 로봇이 experience로 스스로 나아지지 못한다

자료 자체의 한계도 있다. 이 글에는 성능 그래프의 정확한 값이 적혀 있지 않고 배치 규모와 정성 서술이 그 자리를 대신하므로, 지표 비교가 필요하면 논문 페이지를 봐야 한다.

π0.6 아키텍처 서술도 논문과 미묘하게 어긋난다. 블로그는 파라미터 50억 개 규모의 vision-language model에 action expert를 붙였다고 적지만, 논문은 backbone을 Gemma 3 4B로, action expert를 860M으로 따로 적는다. 블로그 쪽 숫자가 둘을 합친 값으로 보이나 어느 쪽도 확정하지 않았고, 상세는 양쪽 모두 별도 model card로 넘긴다.

도식 측면의 제약도 남는다. 본문 도식이 전부 자동재생 영상과 인터랙티브 위젯이라 수집 시점에 정지 이미지로 남지 않았다. 같은 내용의 정적 도식은 논문 페이지의 fig01, fig03, fig04, fig07, fig08에 있다.

저자들이 내다보는 방향

블로그의 마지막 절은 데이터 원천의 역할 분담을 제시한다. 사람의 학습이 교육과 코칭과 연습의 조합인 것처럼 로봇도 여러 원천에서 배우되 원천마다 맡는 일이 다르다는 구도다.

저자들은 이 중 자율 experience가 가장 큰 데이터 원천이 될 수 있다고 본다. 로봇이 실세계에 더 넓게 배치될수록 experience로부터의 학습이 높은 성능을 얻는 필수 요소가 되고, 언젠가는 사람을 넘어서는 성능까지 갈 수 있으리라는 전망이다.

글 말미에는 실제 배치로 데이터 수집을 확대하는 기업과의 협업 제안과 채용 안내가 붙는다. 자율성을 함께 연구할 상대를 찾는다는 문장이 이 발표의 실무적 목적을 보여준다.

저장소 안에서의 위치

Physical Intelligence의 발표 블로그 세 편을 순서대로 읽으면 회사가 대중에게 강조해 온 것이 무엇인지 드러난다. π0는 하나의 policy로 여러 로봇을 구동한다는 점을, π0.5는 학습에 없던 집에서 동작한다는 점을 앞세웠다.

π*0.6이 앞세우는 것은 하루 종일 끊기지 않는 실행이다. 즉 시연의 기준이 능력에서 안정성으로 옮겨 갔다.

앞의 두 편과 비교하면 정보의 성격도 다르다. π0과 π0.5 발표문은 논문에 없는 수치를 함께 밝히는 쪽이었지만, 이 글은 배치 규모와 영상에 비중을 둔다.

핵심 용어

관련 페이지

• π*0.6: a VLA That Learns From Experience: 같은 날 공개된 논문. RECAP 학습 루프의 수식 유도와 ablation과 평가 기준이 여기에 있다.
• 03-09. Pi-0.6 - 모두의 로보틱스 - VLA 입문: 같은 모델의 한국어 입문 해설. 강화학습 기초부터 RECAP 수식까지 풀어 쓴다.
• π0.5: a VLA with Open-World Generalization: π0.5 발표 블로그. 같은 형식의 직전 사례다.
• π0: Our First Generalist Policy: π0 발표 블로그. 이 형식의 첫 사례다.
• π0.7: a Steerable Model with Emergent Capabilities: 다음 세대 π0.7의 발표 블로그. RECAP의 experience를 strategy metadata로 흡수했다는 서술이 있다.
• π0.5: a Vision-Language-Action Model with Open-World Generalization: π0.6의 바탕이 된 π0.5 논문.
• openpi: Open-source models and packages for robotics (π₀ / π₀-FAST / π₀.₅): π 계열 레퍼런스 구현.
• Physical AI 카테고리 지도와 학습 경로: physical-ai 카테고리의 도메인 허브.