1,200개를 4개로 줄여도 로봇은 사람을 따라 했다 — 영상 생성 모델을 행동 언어로 쓰는 DreamX

영상 한 프레임은 1,200개의 토큰으로 표현된다. 논문 'DreamX'는 그 1,200개를 4개로 줄인다. 300분의 1이다. 그리고 이 4개의 숫자만으로 사람이 팔을 뻗는 동작과 로봇 팔이 같은 지점에 손을 가져가는 동작을 같은 '행동'으로 묶는다고 주장한다. 영상을 만드는 모델, 즉 다음 프레임을 상상하도록 훈련된 모델에서 꺼낸 숫자들이 행동의 공통어가 된다는 발상이다.

영상 생성 모델을 '행동 번역기'로 쓰는 발상

로봇 학습에서 오래 걸리는 문제는 데이터의 형태다. 사람이 손으로 컵을 드는 영상과 로봇 팔이 컵을 드는 영상은 픽셀 수준에서 거의 닮지 않는다. 팔의 색, 배경, 카메라 각도, 조명이 전부 다르다. 기존의 잠재 행동(latent action) 모델은 두 프레임 사이의 시각적 변화에서 행동을 역추론한다. 문제는 그 변화 안에 행동과 무관한 시각적 잡음이 함께 섞인다는 점이다. 논문은 이 얽힘(entanglement)을 기존 모델의 핵심 약점으로 지목한다.

DreamX는 시각적 변화에서 행동을 뽑아내는 대신, 사전 학습된 비디오 확산 모델의 내부 특징에서 행동을 추출한다. 확산 모델은 이미 '이 장면 다음에 무엇이 자연스러운가'를 학습한 상태다. 논문은 그 생성 사전확률(generative prior)이 행동과 관련된 역학만 남기고 외형적 변동을 걸러내는 역할을 한다고 설명한다. 결과물은 사람과 로봇, 서로 다른 환경, 서로 다른 행동 매개변수화 사이에서 공유되는 하나의 행동 인터페이스다.

300분의 1로 줄여도 남는 것

압축률 자체가 이 논문의 주장이다. 프레임당 1,200토큰을 4토큰으로 줄이면, 100프레임짜리 짧은 영상도 12만 토큰에서 400토큰이 된다. 정책 학습 입장에서 이 차이는 계산 비용의 문제가 아니라 실험 횟수의 문제다. 논문은 이렇게 압축된 잠재 행동 공간에서 정책을 학습하면 비디오 확산 기반 정책의 계산 비용이 줄어든다고 밝힌다.

손가락 관절을 서보로 구동하는 로봇 손 — Луната1999, CC BY-SA 4.0 (Wikimedia Commons)

성능 주장의 근거로 제시된 것이 LARY-Bench다. 논문은 이 벤치마크에서 DreamX가 잠재 행동 모델들 가운데 최고 성능(state-of-the-art)을 기록했다고 주장한다. 다만 초록에는 구체적인 수치나 비교 대상 모델의 이름이 제시되지 않는다. 어느 모델을 몇 점 차이로 앞섰는지는 본문을 봐야 확인할 수 있는 부분이다.

반직관적인 결론: 행동을 배우지 않은 모델이 행동을 더 잘 옮긴다

상식적으로 행동 표현을 잘 만들려면 행동 데이터로 학습해야 한다. 로봇 텔레오퍼레이션 궤적, 관절 각도, 말단장치 좌표 같은 정답 라벨이 붙은 데이터가 가장 값비싸고 가장 정확한 재료로 여겨진다. 그런데 이 논문의 주장은 방향이 반대다. 행동 라벨 없이 '영상을 그럴듯하게 생성하는 일'만 배운 모델이, 오히려 다른 몸체로 옮겨가는 행동 표현을 만든다는 것이다.

논문이 내세우는 증거는 전이 실험이다. 한 환경에서 인코딩한 행동이 다른 환경에서도 유효하다는 것, 즉 any-to-any 비디오 전이와 다양한 몸체·환경 사이의 제로샷(zero-shot) 행동 전이를 지지한다고 주장한다. 제로샷이라는 단어는 조심해서 읽어야 한다. 전이 대상 환경에서 추가 학습을 하지 않았다는 뜻이지, 그 환경에서 아무 검증도 없이 작동한다는 뜻은 아니다.

여기서 진짜 반전은 압축이 정보를 버리는 방식에 있다. 4토큰은 컵의 색도, 배경의 무늬도 담을 자리가 없다. 담을 자리가 없으니 모델은 그 정보를 표현에 넣지 않는다. 정보를 잃는 것이 손실이 아니라 정규화(regularization)로 작동하는 셈이다. 시각적 잡음을 지우려고 잡음을 지우는 모듈을 설계한 것이 아니라, 병목을 좁혀서 지워지게 만든 구조다.

경쟁 가설과 반론

첫 번째 경쟁 가설은 '그냥 좋은 시각 특징 추출기'라는 것이다. 영상 확산 모델의 중간 특징이 행동과 무관하게, 그냥 장면 이해에 강한 표현일 뿐이고 전이 성능은 특징의 질에서 나온다는 해석이다. 이 해석을 반박하려면 외형이 바뀌어도 동일하게 유지되는 성분과, 외형에 따라 흔들리는 성분을 분리해 보여야 한다. 논문은 표현이 외형에서 분리된다고 서술하지만, 초록 수준에서는 그 분리를 어떻게 측정했는지 드러나지 않는다.

두 번째 반론은 생성과 제어의 간극이다. 다음 프레임을 잘 상상하는 모델이 반드시 쓸 만한 제어 신호를 주는 것은 아니다. 생성 모델은 그럴듯함을 최적화하고, 제어는 성공을 최적화한다. 이 둘이 어긋나는 전형적인 사례가 로봇이 물체를 놓치는 순간이다. 영상에서는 자연스러운 미끄러짐이지만 제어에서는 실패다. 논문이 보고한 지표가 생성 품질 쪽인지 과제 성공률 쪽인지는 논문 본문에서 구분해 확인해야 한다.

자동화된 실험실에서 플레이트를 집어 옮기는 산업용 그리퍼 — National Institute of Allergy and Infectious Diseases, Public domain (Wikimedia Commons)

세 번째로, 벤치마크 하나에서의 최고 성능은 일반성의 증거가 아니다. LARY-Bench가 어떤 몸체 쌍과 어떤 과제로 구성되어 있는지에 따라 '범용'이라는 단어의 무게가 달라진다. 논문은 사람과 로봇 사이의 인터페이스라고 표현하지만, 초록에 등장하는 몸체의 종류와 수는 명시되지 않는다.

논문이 스스로 인정한 한계, 그리고 초록이 말하지 않는 것

먼저 정확히 적어야 한다. 이 논문의 초록은 한계 절을 요약해 싣지 않는다. 따라서 '저자들이 인정한 한계'로 확인되는 내용은 초록 범위에서 없다. 확인되지 않는 것을 확인된 것처럼 쓰지 않기 위해, 여기서는 초록이 침묵하는 지점을 나열한다.

첫째, 실패율이다. 제로샷 전이가 '지지된다'는 서술은 있지만, 어떤 조건에서 무너지는지에 대한 수치는 초록에 없다. 둘째, 실제 로봇에서의 장기 과제(long-horizon) 성능이다. 대부분의 잠재 행동 연구가 짧은 조작 과제에서 검증되며, 초록은 과제 길이를 밝히지 않는다. 셋째, 압축의 대가다. 4토큰이 놓치는 정보가 정밀 조작(예: 실을 꿰기, 작은 나사 조이기)에서 문제가 되는지는 별도의 질문이다.

넷째, 계산 비용의 회계다. 정책 학습 비용은 줄었다고 하지만, 확산 모델 자체를 돌리는 추론 비용과 잠재 행동을 뽑는 인코딩 비용은 어디에 계상되었는지 초록만으로는 알 수 없다. '싸졌다'는 말은 비교 대상이 무엇인지에 따라 의미가 달라진다.

그래서 무엇이 남는가

이 논문이 흥미로운 이유는 로봇 성능 자체보다 인터페이스의 위치에 있다. 지금까지 로봇 학습의 병목은 알고리즘이 아니라 '무엇을 행동으로 부를 것인가'라는 정의 문제였다. 관절 토크로 부를 것인가, 말단 좌표로 부를 것인가, 사람의 시연으로 부를 것인가. DreamX는 그 정의를 영상 모델의 잠재 공간에 위임하자고 제안한다. 정의를 사람이 쓰지 않고, 대규모 영상에서 이미 학습된 것을 빌려온다는 발상이다.

이 발상이 맞다면 파급은 로봇을 넘어간다. 사람의 영상과 로봇의 영상 사이에 공통 좌표가 있다면, 유튜브에 이미 쌓인 조작 영상이 값비싼 텔레오퍼레이션 데이터의 대체재가 될 수 있다. 반대로 이 발상이 틀렸다면, 우리는 압축된 시각 요약을 행동이라 부르는 착시를 300배의 효율이라는 이름으로 포장한 것이 된다. 두 경우의 차이는 벤치마크 점수가 아니라, 다른 몸체에서 실패하는 순간의 기록으로 갈린다.

독자에게 묻고 싶다. 만약 로봇이 사람의 영상을 보고 동작을 배운다면, 우리가 '이해했다'고 부를 기준은 무엇이어야 할까. 같은 동작을 다른 몸으로 재현하는 것인가, 아니면 처음 보는 상황에서 스스로 다른 방법을 찾아내는 것인가.

참고 자료

Jisoo Kim, Chaehyun Kim, Junsu Kim, Jiho Park, Seongchan Kim, Eunbeen Hong, Soowon Son, Fu-En Yang, Seungryong Kim, 'DreamX: Video Diffusion Model is a Universal Latent Action Learner', arXiv:2611.05377v1 (2026-11-03).

https://arxiv.org/abs/2611.05377v1