https://arxiv.org/abs/2411.14499
https://arxiv.org/html/2411.14499v3
https://arxiv.org/html/2506.22355v3
https://devocean.sk.com/blog/techBoardDetail.do?id=168072
https://news.hada.io/topic?id=25275
누구나 쉽게 따라하면서 배우는 Physical AI: LeRobot 라이브러리 - 기초
2023년 Google DeepMind가 공개한 RT-2는 웹에서 학습한 방대한 지식을 로봇 제어에 직접 연결한 모델로, 이전까지 불가능하다고 여겨졌던 수준의 언어 이해와 행동 능력을 보여줬습니다. "가장 오래된 것처럼 생긴 과일을 집어줘"처럼 추상적인 명령도 이해하고 수행할 수 있었습니다.
이후 오픈소스 진영도 빠르게 따라왔습니다. 스탠퍼드 대학교를 중심으로 공개된 OpenVLA는 누구나 직접 실험하고 개선할 수 있는 환경을 만들었고, UC Berkeley의 Octo는 다양한 로봇 플랫폼에서 범용적으로 활용 가능한 모델을 제시했습니다. Physical Intelligence가 공개한 π0는 확산 모델(diffusion model) 기반으로 더욱 자연스럽고 정밀한 동작을 구현해 주목받았습니다.
VLA가 현재의 기술적 성과를 발판으로 삼아 어디로 향하고 있는지를 이해하려면, 지금 연구자들이 주목하는 몇 가지 핵심 개념을 살펴볼 필요가 있습니다.
첫 번째는 **월드 모델(World Model)**입니다. 지금의 VLA가 "보고 바로 행동하는" 방식이라면, 월드 모델은 행동하기 전에 머릿속으로 먼저 시뮬레이션해보는 단계를 추가합니다. "이 컵을 밀면 어디로 굴러갈까?"를 미리 예측하고 계획할 수 있게 됨으로써 단순한 반응을 넘어 진정한 의미의 판단이 가능해집니다.
두 번째는 휴머노이드 로봇과의 결합입니다.
세 번째는 시뮬레이션과 데이터 합성입니다. 로봇 학습에는 방대한 데이터가 필요하지만 현실에서 모두 수집하기에는 한계가 있습니다. 이를 해결하기 위해 가상 환경에서 데이터를 생성하거나, 생성형 AI로 학습 데이터를 합성하는 방향으로 연구가 빠르게 발전하고 있습니다.
VLA(Vision-Language-Action)라는 접근이 왜 등장했는지, 그리고 이것이 로보틱스의 어떤 한계를 해결하려는 시도인지를 구조적으로 이해할 필요성
하지만 관련 자료를 탐색하면서 한 가지 공통적인 어려움을 경험했습니다. 논문은 매우 많았지만, 전체 흐름을 한 번에 이해하기는 쉽지 않았습니다. LLM, Vision, VLM, 로보틱스 제어는 각각 빠르게 발전하고 있었으나, 이 지식들은 서로 분절되어 있었습니다. 개별 모델의 구조와 성능은 소개되어 있었지만, 언어 모델의 발전이 어떻게 비전 모델과 만나고, 그 구조가 어떻게 로봇의 행동 생성으로 이어지는지를 하나의 맥락으로 설명해 주는 자료는 많지 않았습니다.
하지만 관련 자료를 탐색하면서 한 가지 공통적인 어려움을 경험했습니다. 논문은 매우 많았지만, 전체 흐름을 한 번에 이해하기는 쉽지 않았습니다. LLM, Vision, VLM, 로보틱스 제어는 각각 빠르게 발전하고 있었으나, 이 지식들은 서로 분절되어 있었습니다. 개별 모델의 구조와 성능은 소개되어 있었지만, 언어 모델의 발전이 어떻게 비전 모델과 만나고, 그 구조가 어떻게 로봇의 행동 생성으로 이어지는지를 하나의 맥락으로 설명해 주는 자료는 많지 않았습니다.
VLM은 "보면서 생각하는" 모델입니다. 그런데 로봇 제어를 위한 VLA(Vision-Language-Action) 관점에서 보면, 모든 VLM이 동등하게 유용한 것은 아닙니다. 로봇은 단순히 이미지 캡션을 생성하는 것 이상의 능력, 즉 물체의 정확한 위치 파악, 연속된 상황의 이해, 다단계 추론을 요구하기 때문입니다.
여기서는 대표적인 VLA 모델들이 실제로 채택한 VLM 세 가지를 통해, VLM이 어떤 방향으로 진화해왔는지 그 흐름을 짚어봅니다.