창문 격자 하나에서 3D 건물 문법을 뽑아내기 — 사진을 코드로 번역하는 arXiv 논문

베네수엘라 포를라마르의 어느 아파트 벽면을 정면에서 찍은 사진이 있다. 회벽 위에 창문이 가로로 일곱 줄, 세로로 네 칸씩 놓여 있고, 그 사이로 발코니 난간이 같은 간격으로 반복된다. 사람 눈에는 '그냥 아파트'지만, 3D 모델러에게 이 사진은 서로 다른 세 가지 정보가 겹쳐 찍힌 한 장의 투영이다. 창 한 칸의 폭, 층과 층 사이의 높이, 그리고 그 반복이 몇 번 이어지는가. arXiv 2611.03143v1로 2026년 11월 2일 공개된 논문 「Visual-to-Executable Procedural Reconstruction of Buildings」은 바로 이 사진 한 장에서 마지막 정보, 즉 반복 규칙 자체를 꺼내 실행 가능한 프로그램으로 바꾸는 문제를 다룬다. 저자는 Zichong Zhu, Zhihao Liu, Andrei Sharf, Zhanglin Cheng 네 명이다.

사진은 부분만 보여주고, 그 부분조차 시점에 따라 달라진다

논문이 출발하는 지점은 겸손하다. 건물 사진 한 장에는 그 건물의 한쪽 면, 그것도 카메라가 마주 본 면만 담긴다. 옆면과 뒷면, 지붕의 형태, 안쪽 마당은 사진 어디에도 없다. 게다가 같은 벽이라도 비스듬히 찍으면 창문 간격이 원근에 따라 점점 좁아지고, 정면에서 찍으면 규칙적으로 보인다. 저자들은 이 한계를 회피하지 않고 문제 설정 자체에 집어넣는다. 복원 대상은 건물 전체가 아니라 '지배적으로 보이는 파사드', 즉 사진에서 가장 크고 또렷하게 드러난 면이다.

그래서 이 논문의 목표는 사진과 똑같은 3D 복제본이 아니다. 사진에서 읽어낸 파사드 프로그램을 단순한 매스 모델, 다시 말해 건물의 부피만 잡아 둔 상자에 붙여서, 편집 가능한 건물 자산으로 인스턴스화하는 것이다. 결과물은 정답 사진이 아니라 손으로 고칠 수 있는 절차적 설명이다. 창문 개수를 하나 줄이거나 층고를 바꾸고 싶다면 모델을 다시 그리는 대신 숫자 하나를 바꾸면 된다.

두 단계로 쪼갠 이유 — 배치 트리와 부품 파라미터

방법은 구조 예측을 두 단계로 분리한다. 첫 단계는 Global Structure Layout Tree로, 파사드 규모의 '나누고 반복하기(split-and-repeat)' 조직을 복원한다. 벽면을 몇 개의 세로 기둥으로 나누고, 각 기둥을 다시 층 단위로 나눈 뒤, 마지막 단위를 반복하는 식이다. 저자들은 여기에 미세 조정한 레이아웃 모델을 쓰고, 렌더링 결과를 다시 보며 시각 기호를 스스로 점검하는 'render-guided visual-symbolic reflection' 절차를 덧붙인다. 만든 트리를 렌더링해 보고 사진과 어긋나면 기호를 고쳐 다시 예측하는 되먹임이다.

두 번째 단계는 Component Parameterization schema다. 트리가 '여기에 창문이 세 개'라고 말해 주더라도, 그 창문이 어떤 형태이고 어떤 테두리를 갖는지는 별개의 문제다. 논문은 파사드의 대표 타일을 골라 구조화된 절차적 속성으로 매핑하고, 그 속성으로 지역적 건축 부품을 합성한다. 요약하면 앞 단계는 어디에 무엇이 몇 번 놓이는가를, 뒷 단계는 그 하나가 어떻게 생겼는가를 맡는다.

정면에서 찍은 아파트 파사드. 창문의 가로·세로 반복이 한눈에 읽히는, 이 논문이 노리는 이상적인 입력이다 — Wilfredor, CC0 (Wikimedia Commons)

생성하지 않고 번역한다 — CGA로의 결정적 컴파일

여기서 이 논문의 설계 선택이 갈린다. 최근의 다수 접근은 이미지를 보고 3D 형상이나 프로그램 토큰을 신경망이 곧바로 뱉게 한다. 반면 이 연구는 두 단계의 예측 결과를 Computer Generated Architecture(CGA) 프로그램으로 '결정적으로 컴파일'한다. 같은 트리와 같은 파라미터가 들어오면 언제나 같은 프로그램이 나온다. 저자들이 내세우는 이유는 명확하다. 저수준 프로그램을 모델이 직접 생성하게 하면 문법 오류 하나로 실행이 통째로 무너지는 취약성이 생기는데, 중간 표현을 거쳐 규칙 기반으로 옮기면 그 취약성을 구조적으로 피할 수 있다는 것이다.

이 선택은 성격을 바꾼다. 모델의 역할이 '그럴듯한 건물을 그리는 것'에서 '관찰 가능한 규칙을 정확히 읽어내는 것'으로 좁아진다. 대신 얻는 것이 실행 가능성과 재사용성이다. 출력이 프로그램이므로 파라미터를 바꿔 변형을 만들 수 있고, 같은 파사드를 다른 매스에 얹어 새 건물을 찍어낼 수 있다. 논문은 실험이 규칙적인 파사드와 야생의(in-the-wild) 이미지를 모두 다루면서 높은 구조 일관성과 세밀한 건축적 디테일을 유지한다고 주장한다.

반직관적 결론 — 보이지 않는 면은 복원하지 않는다

겉보기와 달리 이 논문의 야심은 작다. '한 장으로 건물 전체를 복원한다'는 식의 주장을 하지 않는다. 사진에 없는 면은 만들지 않고, 파사드 프로그램을 단순 매스 모델에 붙이는 것으로 만족한다. 사진 한 장이 주는 증거가 부분적이고 시점 의존적이라는 사실을 인정하고, 그 증거가 실제로 지지하는 범위까지만 모델을 세우는 것이다. 3D 재구성 연구가 흔히 미지의 영역을 그럴듯한 추측으로 메우는 것과 정반대의 태도다.

결과적으로 이 방식이 잘하는 일은 '새로운 건물 상상'이 아니라 '본 것을 정확히 옮겨 적기'다. 논문이 내세우는 구조 일관성, 절차적 실행 가능성, 세밀한 디테일은 모두 이 좁은 목표에 붙은 평가다. 독자가 기대할 것이 화려한 생성 이미지가 아니라, 건축가가 이어받아 고칠 수 있는 편집 가능한 설명이라는 점을 분명히 해 둔다.

경쟁 가설 — 왜 통째로 생성하지 않는가

첫 번째 경쟁 가설은 이미지에서 3D 형상으로 곧장 가는 생성 모델이다. 시각적으로는 훨씬 그럴듯한 결과를 낼 수 있지만, 출력이 메시(mesh)라서 '몇 층 몇 칸'이라는 규칙이 사라진다. 창문 하나를 옮기려면 형상을 다시 만들어야 하고, 같은 건물의 다른 변형을 만들려면 처음부터 다시 생성해야 한다. 이 논문이 겨냥하는 재사용성과 정면으로 충돌한다.

두 번째는 프로그램을 직접 생성하는 언어 모델 계열이다. 유연성은 크지만, 저자들이 지적하듯 저수준 코드 생성은 취약하다. 문법 한 줄이 어긋나면 렌더러가 아무것도 그리지 못한다. 다만 반론도 가능하다. 중간 표현을 거치는 컴파일 방식은 표현력의 상한을 그 표현에 가둔다. 트리와 파라미터로 적을 수 없는 장식, 곡면, 비정형 파사드는 애초에 후보에서 빠진다. 논문이 '규칙적인 파사드와 야생 이미지'를 함께 다룬다고 보고하는 것은 이 상한 안에서의 성과이며, 그 상한 자체를 넘었다는 주장은 아니다.

폴란드 소스노비에츠의 아파트 단지. 반복 구조가 명확하지만 색과 발코니 구성이 블록마다 달라, 규칙과 예외를 함께 적어야 하는 사례다 — KrzysztofPoplawski, CC BY-SA 4.0 (Wikimedia Commons)

논문이 스스로 인정한 한계

저자들이 명시한 제약은 입력의 성격에서 온다. 사진 한 장은 부분적이고 시점에 의존하므로, 복원 대상은 지배적으로 보이는 파사드로 한정되고 건물 수준의 인스턴스화는 단순 매스 모델에 의존한다. 다시 말해 옆면과 뒷면, 지붕선, 건물의 실제 평면은 이 방법이 답하지 않는 영역이다. 사진이 여러 장 있거나 도면이 있으면 더 나은 결과가 나올 수 있겠지만, 이 논문의 설정은 의도적으로 한 장이다.

또 하나의 한계는 평가의 성격이다. 절차적 실행 가능성과 구조 일관성은 측정할 수 있지만, '건축적으로 옳은가'는 자동 지표로 판정하기 어렵다. 논문은 방법이 정규 파사드와 야생 이미지 모두에서 작동한다고 보고하지만, 그 성과가 어떤 종류의 건축에서 어디까지 유지되는지는 원문의 실험 절과 부록의 사례를 직접 확인해야 한다. 이 글은 초록과 공개된 요약 범위 안에서만 서술했고, 구체적 수치는 원문을 확인하지 않은 상태에서는 옮기지 않았다.

독자에게 던지는 질문

이 연구가 흥미로운 이유는 기술 자체보다 태도에 있다. 생성 모델이 무엇이든 그럴듯하게 만들어 내는 시대에, 이 논문은 '본 것만 정확히, 그러나 다시 쓸 수 있게'라는 보수적인 목표를 택했다. 그 대신 얻은 것은 편집 가능성이다. 사진 한 장이 남긴 규칙을 사람이 이어받아 고칠 수 있는 형태로 넘겨주는 것, 그것이 절차적 표현의 오래된 약속이다.

그렇다면 질문은 이렇게 남는다. 당신이 어떤 건물의 사진 한 장을 들고 '이걸 모델로 만들어 달라'고 했을 때, 원하는 것은 사진과 똑같이 생긴 메시일까, 아니면 창문 개수를 바꿔 가며 변형을 찍어낼 수 있는 규칙일까. 그리고 그 규칙이 사진에 없는 면을 상상하지 않는다는 사실을, 당신은 장점으로 볼까 한계로 볼까.

참고 자료

• Zichong Zhu, Zhihao Liu, Andrei Sharf, Zhanglin Cheng, 「Visual-to-Executable Procedural Reconstruction of Buildings」, arXiv:2611.03143v1 (cs.AI), 2026-11-02. https://arxiv.org/abs/2611.03143v1
• 이미지 1: Wikimedia Commons, 'Grid of windows on an apartment facade in Campomar, Porlamar, Venezuela' — Wilfredor, CC0.
• 이미지 2: Wikimedia Commons, 'Bloki na ulicy Goszczynskiego Sosnowiec Środula 01' — KrzysztofPoplawski, CC BY-SA 4.0.