시야를 벗어난 시계는 어디로 갔나 — AI 열 모델의 공간 기억을 해부한 논문

카메라를 든 사람이 방을 한 바퀴 돈다. 벽에 걸린 시계를 보고, 소파를 지나쳐 문 쪽으로 걸어간다. 시계는 이제 시야 밖이다. 그런데도 우리는 시계가 어디쯤 있는지 안다. 고개를 돌려 그쪽을 향하면 대략 그 자리에 있을 것이라고 예상한다. arXiv 2610.40636v1, 「Probing Spatial State Representations in Visual Foundation Models」는 바로 이 사소해 보이는 능력을 비전 기초 모델 열 개에 대해 정면으로 물었다. 그리고 나온 숫자가 조금 이상하다. 물체가 시야를 벗어난 뒤의 방위각을 맞히는 과제에서 가장 좋은 모델의 평균 오차는 32.79도, 가장 나쁜 모델은 68.59도였다. 68도면 오른쪽을 봐야 할 것을 왼쪽을 보는 수준이다.

네 단계로 쪼갠 질문

이 논문의 출발점은 “공간을 안다”는 말이 너무 뭉뚱그려져 있다는 것이다. 저자들은 이를 관측에서 요구하는 것이 무엇인지에 따라 네 층으로 나눈다. L1 공간 구조(spatial structure)는 지금 보이는 장면의 깊이, 카메라 자세, 물체 인스턴스, 시점 간 대응을 읽는 능력이다. L2 물체 지속성(object persistence)은 한 번 본 물체가 시야에서 사라진 뒤에도 그 위치를 유지하는 능력이다. L3 예측적 공간 갱신(predictive spatial update)은 자기 이동에 따라 다음 관측이 어떻게 달라질지 미리 계산하는 능력이다. L4 행동 가능성(actionability)은 표상된 상태와 목표를 함께 써서 목표에 가까워지는 행동을 고르는 능력이다.

중요한 것은 이 넷을 “능력”으로 규정하고, 특정 3D 지도나 장면 그래프, 좌표계, 신경망 구조를 요구하지 않았다는 점이다. 저자들이 던진 질문은 “모델 안에 3D 지도가 있는가”가 아니라 “얼려둔 특징만 보고 이 네 가지를 해낼 수 있는가”다. 이 관점 덕분에 이미지 인코더, 비디오 인코더, 3D 재구성 모델, 멀티모달 모델, 비디오 생성기, 월드 모델을 같은 실험대에 올릴 수 있었다. 저자들은 이 네 층이 위로 갈수록 현재 관측 너머의 정보를 더 많이 요구한다고 정리한다. L1은 보이는 것을 읽으면 되고, L2는 과거 관측을 붙들어야 하며, L3은 아직 보지 않은 관측을 예상해야 하고, L4는 그 표상을 목표와 행동에 연결해야 한다.

실험대: 69개 장면, 얼린 특징 열 종류

실험은 화려하지 않다. 오히려 그래서 읽힌다. 데이터는 자세 정보가 붙은 ScanNet++ 실내 궤적이고, 검증 장면은 69개다. 각 접두사 길이마다 276개의 검증 윈도를 쓴다. 관측은 스트리밍 형식으로 주어진다. 모델은 과거와 현재 프레임만 받고 미래 프레임은 받지 않는다. 접두사 길이는 8, 12, 16, 24프레임으로 자른다. 각 접두사는 독립적으로 인코딩되므로, 이 실험은 “모델이 온라인 상태를 유지하는가”가 아니라 “인과적 접두사의 표상이 무엇을 제공하는가”를 묻는다.

비교 대상은 열 개의 얼린(frozen) 표상이다. DINOv2-Large, V-JEPA2 ViT-L, VideoMAE-Large, Fast3R ViT-L, 비디오 생성기인 Wan2.1-T2V-1.3B, CogVideoX-5B-I2V, MiniMax-H3(LingBot-video), 월드 모델 AetherV1, 멀티모달 Qwen2.5-VL-7B-Instruct다. 백본 파라미터는 전부 고정하고 얕은 프로브만 학습한다. 프로브는 과제별로 고정되어 있고, 같은 모델·같은 과제 안에서는 층과 접두사 길이에 걸쳐 동일한 판독 구조와 목적함수를 쓴다. 최고 점수를 사후에 골라 쓰는 편법을 막기 위해, 주 표의 점수는 지정된 층에서 평가된 접두사들의 평균이다.

키넥트로 찍은 실내 3D 깊이 스캔. 이 논문이 프로브로 읽어내려는 것도 결국 이런 종류의 장면 기하 정보인데, 저자들의 결론은 “깊이를 잘 읽는다고 해서 물체를 기억하는 것은 아니다”였다 — Mir07, CC BY-SA 3.0 (Wikimedia Commons)

반전 1 — 잘 보는 능력과 잘 기억하는 능력은 다르다

가장 먼저 무너지는 것은 “보이는 장면을 잘 읽으면 그 뒤도 잘 기억할 것”이라는 직관이다. Fast3R는 카메라 자세 AUC@30에서 0.3870으로 DINOv2의 0.0412를 압도한다. 반면 깊이 손실은 DINOv2가 0.1422로 Fast3R의 0.1386과 비슷하거나, 인스턴스 항등 손실은 DINOv2가 1.3828로 Fast3R의 1.6072보다 낫다. 즉 “깊이를 잘 본다”, “물체를 잘 구분한다”, “시점 대응이 좋다”가 서로 다른 순위를 만든다.

진짜 반전은 L2에서 나온다. 시야 밖으로 나간 물체의 방위각 오차에서 Fast3R가 32.79도로 1위, VideoMAE가 36.45도로 2위다. 그런데 VideoMAE는 깊이, 인스턴스 항등, 시점 일관성 세 지표 모두에서 DINOv2(65.38도)와 Qwen2.5-VL(68.59도)에 뒤진다. 보이는 장면 지표로는 더 나쁜 모델이 사라진 물체는 더 잘 찾는다. 저자들은 여기서 한 걸음 더 나아가, 열 개 모델 전체에서 물체 지속성과 카메라 자세 판독의 순위 상관이 ρ=0.76임을 보인다. 깊이·인스턴스·시점 일관성과의 상관은 ρ≤0.43이다. 게다가 그 세 지표끼리는 서로 ρ≥0.91로 거의 같은 순위를 낸다. 방을 벗어난 물체를 찾는 일은 “지금 카메라가 과거 시점과 어떻게 연결되는가”를 다루는 일이므로, 카메라 자세를 드러내는 표상이 그 재료를 이미 갖고 있다는 해석이다.

반전 2 — 기억은 길어질수록 나빠졌다

두 번째 반전은 더 불편하다. 문맥을 더 주면 더 잘할 것이라는 가정이 데이터에서 깨진다. 저자들은 접두사 24프레임과 8프레임을 방향 보정 표준화 차이로 비교했다. 여덟 모델의 56개 모델–지표 쌍 가운데 45쌍이 짧은 쪽(p8)을 선호했고, 긴 쪽(p24)을 선호한 것은 8쌍, 동률이 3쌍이었다. 95% 구간이 0을 배제한 것만 세면 33쌍 대 5쌍이다. 특히 물체 지속성은 여덟 모델 전부에서 긴 접두사가 더 나빠졌고, 모두 구간을 벗어났다. VideoMAE의 국소화 오차는 29.55도에서 54.80도로 올라갔고, DINOv2의 경로 적분 R@1은 0.1256에서 0.0713으로 떨어졌다.

긴 쪽이 이긴 8쌍은 거의 전부 깊이·카메라 자세·시점 일관성 같은 “보이는 장면” 지표였다. 즉 프레임을 더 넣으면 장면 기하 판독은 좋아지지만, 사라진 물체를 붙드는 능력은 오히려 흐려진다. 저자들은 층(layer)도 함께 훑는다. V-JEPA2는 직접 예측·경로 적분·인스턴스 항등에서 23번 블록이 최고인데 물체 지속성은 17번 블록이 최고다. VideoMAE는 반대로 국소화와 인스턴스가 23번, 두 예측 과제가 17번에서 최고다. 비디오 생성기들은 더 앞쪽에서 정점을 찍고 출력 쪽으로 갈수록 기하 곡선이 내려간다. “어느 층에서 뽑았는가”가 평가의 일부이지, 아무렇게나 바꿔도 되는 인터페이스가 아니라는 결론이다.

복사가 예측을 이겼다

여기서 방법론적으로 가장 날카로운 대목이 나온다. 판독 정확도가 높다고 해서 그 판독이 “역사를 실제로 쓰고 있다”는 뜻은 아니다. 저자들은 조건 입력만 바꾸고 프로브와 목표는 고정하는 짝지은 통제 실험을 붙인다. 먼저 한 단계 예측에서 학습된 예측과 “마지막 관측 특징을 그대로 복사하기”를 비교한다. Wan은 예측 15.22% 대 복사 11.96%로 예측이 이기지만, V-JEPA2는 예측 13.04% 대 복사 19.93%로 복사가 더 높다. 예측 헤드가 시간적 베이스라인조차 못 넘는 셈이다.

움직임 통제도 인상적이다. 자세 변위를 맞춘 후보들 사이에서 올바른 움직임이 틀린 움직임보다 검색을 얼마나 개선하는지 재면, V-JEPA2가 18.84%p, VideoMAE가 10.51%p, CogVideoX가 4.35%p 개선된다. Wan은 2.90%p인데 구간이 0을 포함한다. 역사 통제에서는 전체 이력을 쓰는 것이 현재 프레임만 쓰는 것보다 국소화 오차를 V-JEPA2에서 10.26도, Wan에서 10.01도 줄인다. 그런데 표에서 가장 정확한 국소화 모델인 VideoMAE의 이득은 2.08도이고 구간이 0을 포함한다. 즉 “정확하게 찾는다”와 “쌓인 역사를 읽는다”가 분리된다. 판독 가능성(decodability), 입력 사용(input use), 기능적 효용(utility)이 서로 다른 층위라는 것이다.

정적인 실내에서 카메라가 움직이며 시점을 바꾸는 상황을 흉내 낸 장면. 이 논문의 L3 과제는 바로 이런 자기 이동 뒤의 관측 특징을 미리 맞히는 일이다 — Benohamid, CC BY-SA 3.0 (Wikimedia Commons)

목표를 바꾸면 행동은 돌아가지만, 성과는 그대로

L4는 두 가지 설정으로 나뉜다. 후보 선택 설정에서는 두 개의 9차원 카메라 운동 중 목표에 더 가까워지는 쪽을 고른다. 여기서는 성공한다. 직접 선택 정확도가 75.9~79.9%로, 행동만 주는 기준선 67.8%를 넘고, 목표를 뒤섞으면 12.2~20.7%p 떨어진다. 목표 정보가 선택에 실제로 쓰인다는 증거다.

문제는 후보 없이 행동을 직접 회귀하는 연속 출력 설정이다. 여기서 FULL은 50.2~59.8%의 궤적에서 양의 진행을 얻고, 목표만 주는 GOAL-ONLY보다 6.0~13.8%p 낫다. 그런데 현재 상태만 주는 CURRENT-ONLY보다는 어떤 백본에서도 개선되지 않는다. 즉 “현재 상태가 유용하다”는 것은 보이지만, “목표를 더 넣어서 좋아졌다”는 것은 보이지 않는다. 결정적으로, 현재 상태와 가중치를 고정한 채 난이도를 맞춘 다른 장면의 목표로 바꾸면 예측 방향이 29.8~45.6도 회전한다. 목표에 민감하다는 뜻이다. 그런데 정답 목표와 뒤섞은 목표의 양의 진행 차이는 −2.3~+1.2%p, 목표 거리 감소 차이는 −0.006~+0.001로, 모든 95% 구간이 0을 포함한다. 저자들의 표현대로 “목표 민감성은 목표 효용이 아니다”.

L4의 순위는 또 하나의 단서를 준다. Fast3R가 두 설정 모두 1위(79.9%, 59.8%)이고, V-JEPA2가 후보 선택 2위(78.1%), Wan이 최하위(75.9%, 50.2%)다. 이 순서는 물체 지속성 순서(32.79도, 45.31도, 62.38도)와 카메라 자세 순서를 따라간다. 반대로 직접 예측 순위(DINOv2 1위, Fast3R 최하위)와는 무관하다. 저자들은 이를 두 개의 재료 사슬로 정리한다. 카메라 자세 판독 → 물체 지속성 → 목표 조건 행동이 한 사슬이고, 보이는 장면 판독 → 특징 예측이 다른 사슬이다. 각 사슬에서 아래 층은 위 층을 제약하지만 보장하지는 않는다.

저자들이 인정한 한계

이 논문은 스스로의 경계를 꽤 분명히 적는다. 첫째, 실험 범위는 정적인 실내 환경에서의 관찰자 이동이다. 물체의 동역학, 접촉 물리, 완전한 물리 세계 모델링은 범위 밖이다. 둘째, 각 접두사는 독립적으로 인코딩된다. 따라서 이 실험은 “관측 이력의 표상이 무엇을 제공하는가”를 재는 것이지, 모델이 점진적으로 상태를 갱신하는지를 재는 것이 아니다. 셋째, 서로 다른 모델의 예측 점수는 각자의 목표 특징 공간에서의 검색이라 물리적 오차라는 공통 척도 위에 있지 않다.

데이터 누출도 저자들이 직접 밝힌다. Fast3R의 학습 데이터에 ScanNet++가 포함되어 있고, 검증 장면 일부가 그 학습 장면에 들어 있다. 그래서 Fast3R의 카메라 자세, 물체 지속성, 행동 성적 1위는 장면 친숙도의 영향일 수 있다. 마지막으로 L4는 오프라인 감독 진단이지 폐루프 정책의 시연이 아니다. 저자들도 “닫힌 루프 사용이 아니다”라고 못 박는다.

그래서 무엇을 물어야 하나

이 논문이 남기는 실무적 교훈은 벤치마크 설계에 관한 것이다. “이 특징에서 깊이를 얼마나 잘 뽑나”는 질문 하나로 공간 표상을 요약하면, 사라진 물체를 붙드는 능력과 목표에 맞는 행동을 고르는 능력이 통째로 가려진다. 저자들의 제안은 평가 축을 하나 더 붙이는 것이다. 무엇을 해독할 수 있는가(decodable), 그 정보가 관측 이후에도 유지되는가(maintained), 예측적으로 갱신되는가(updated), 그리고 목표 지향 행동에 실제로 쓰이는가(used).

가장 흥미로운 지점은 부정적 결과의 방향이다. 더 많은 프레임, 더 큰 모델, 더 화려한 생성 능력이 이 네 축에서 단조롭게 좋아지지 않았다. 비디오 생성기 셋은 기하 판독이 중간 블록에서 정점을 찍고 출력으로 갈수록 내려갔고, 30B급 LingBot-video도 물체 지속성 55.97도로 VideoMAE의 36.45도에 한참 못 미친다. 여러분이라면, 방을 걸어 다니는 로봇이나 안경형 기기에 어떤 모델의 어느 층을 얹겠는가. 그리고 그 선택을 “깊이를 잘 뽑는다”는 한 줄로 정당화할 수 있겠는가.

참고 자료

Baiqiao Yin, Zhongang Cai, Ruisi Wang, Qiwei Liang, Lei Yang, Ziwei Liu, 「Probing Spatial State Representations in Visual Foundation Models」, arXiv:2610.40636v1 (cs.CV), 2026-10-29. https://arxiv.org/abs/2610.40636v1

논문 HTML 전문: https://arxiv.org/html/2610.40636v1 · 데이터: 자세 정보가 포함된 ScanNet++ 실내 궤적(검증 장면 69개). 이미지 출처: Wikimedia Commons, Depth Scan from Kinect — Mir07, CC BY-SA 3.0 · Egomotion-odometry — Benohamid, CC BY-SA 3.0. 본문의 수치는 모두 논문 본문과 표에서 인용했고, 확인되지 않은 해석은 논문의 주장으로 표기했다.