교사는 화면이 아니라 개념을 검색한다 — '추상적인 바늘'을 찾는 영상 검색 모델 CDDA (arXiv 2610.00973)

중학교 과학 교사가 수업 자료를 준비한다고 하자. 유튜브나 다큐멘터리 아카이브 검색창에 무엇을 칠까. 아마 '뉴턴의 제3법칙'이라고 칠 것이다. 화면에 무엇이 나오는지를 묘사하는 대신, 가르치려는 개념의 이름을 그대로 넣는다. arXiv 2610.00973(Concept Driven Domain Adaptation: Finding an Abstract Needle in a Haystack)은 바로 이 사소해 보이는 습관에서 영상 검색 모델의 구조적 결함을 끌어낸다.

교사는 화면이 아니라 개념을 검색한다

논문의 출발점은 검색어의 성격이 다르다는 사실이다. 일반적인 영상 검색은 '사람이 문을 열고 나온다'처럼 눈에 보이는 사건을 문장으로 적는다. 반면 수업 자료 검색은 '관성', '전기 저항', '열팽창'처럼 화면에 직접 등장하지 않는 추상 명사를 질의로 던진다. 저자들은 이 간극을 하나의 연구 문제로 정식화한다.

그래서 이 논문이 다루는 과제에는 이름이 붙는다. 개념에서 사례로 가는 영상 검색(concept-to-example video retrieval)이다. 저자들이 쓴 표현을 그대로 옮기면 '건초더미 속의 추상적인 바늘'이다. 찾아야 할 것은 짧고 압축된 교육과정 개념이고, 그것이 숨어 있는 곳은 시간 축에서 아주 드문드문 흩어진 다큐멘터리 장면이다.

장면을 잘 찾는 모델이 개념은 못 찾는 이유

기존 언어 기반 영상 모멘트 검색은 질의가 관찰 가능한 사건을 서술한다고 가정한다. 이 가정 아래에서는 '빨간 공이 굴러간다' 같은 문장과 그 장면의 유사도를 높이는 방식이 잘 작동한다. 문제는 질의가 '마찰력'일 때다. 마찰력이라는 단어는 어떤 프레임에도 픽셀로 찍혀 있지 않다.

여기에 두 번째 난점이 겹친다. 다큐멘터리에서 개념을 보여주는 장면은 길지도, 자주 나오지도 않는다. 저자들은 이를 시간적으로 희박한(temporally sparse) 증거라고 부른다. 한 편짜리 영상에서 해당 장면이 3초 나오고 나머지가 20분이라면, 검색기는 '그럴듯한 평균 장면'으로 수렴하기 쉽다.

개념을 중간 앵커로 세우는 세 단계

제안된 방법의 이름은 CDDA, 개념 주도 도메인 적응(Concept-Driven Domain Adaptation)이다. 논문은 개념을 최종 목표가 아니라 중간 의미 앵커로 쓴다. 두 타워 구조의 비전-언어 모델을 개념 수준 검색에 적응시키는 세 단계가 제시된다.

첫 단계는 텍스트 임베딩 공간을 정리하는 일이다. 교과서와 교사용 지도서에서 뽑은 예시-개념 쌍으로 텍스트 공간의 기하를 먼저 잡아 둔다. 둘째 단계에서는 시각 인코더를 얼려 둔 채, 그 개념 인식 기하를 다큐멘터리 영상 쪽으로 옮긴다. 셋째 단계에서야 두 인코더를 함께 적응시키는데, 여기서 쓰는 감독 신호는 희박한 시각 개념 감독이다.

각도를 줄인다는 것은 무엇을 재는 일인가

이 논문의 설명 방식은 성능표보다 기하학에 가깝다. 임베딩 공간에서 텍스트와 개념 사이의 각도, 그리고 비전과 개념 사이의 각도가 있다. 저자들은 세 단계에 걸친 정렬이 이 두 각도 간극을 줄인다고 주장한다. 각도가 줄어든다는 것은 결국 서로 다른 자리에 있던 표현들이 같은 방향을 가리키게 된다는 뜻이다.

물리 실험실의 계측 장비들 — Nader Moussa(aka Nimur), CC BY-SA 3.0 (Wikimedia Commons)

여기서 흥미로운 설계 목표가 하나 더 붙는다. 개념 쪽으로 끌어당기면서도, 사전학습 모델이 원래 갖고 있던 구체적 이미지 묘사 능력을 잃지 않는 것이다. 논문은 적응 후에도 구체적 이미지-텍스트 매칭이 유지된다고 보고한다. 추상으로 가되 구체를 버리지 않는 셈이다.

반전: 이기려면 거대 모델을 이겨야 했다

논문이 내세우는 비교 대상이 흥미롭다. 저자들이 직접 구축한 중학교 물리 검색 벤치마크에서, 이 방법은 여러 경쟁 멀티모달 기준선보다 교육 지향 개념 검색에서 더 나은 결과를 보였다고 한다. 그 기준선 목록에 Qwen3-VL-Embedding-2B가 들어 있다. 범용 대형 모델을 상대로 좁은 교육 도메인에서 이겼다는 주장인 셈이다.

다만 여기서 독자가 붙잡아야 할 것은 숫자가 아니라 조건이다. '교육 지향 개념 검색'에서 더 나았고, 동시에 '구체적 이미지 묘사 능력은 유지'했다는 두 조건이 함께 제시된다. 하나만 좋아지고 다른 하나를 잃는 적응은 흔하기 때문에, 논문은 두 축을 동시에 보고한다.

경쟁 가설과 반론

가장 먼저 떠오르는 반론은 '그냥 더 큰 모델을 쓰면 되지 않나'다. 이에 대한 논문의 답은 도메인 적응의 필요성이다. 질의가 개념일 때 필요한 것은 일반적인 시각-언어 정렬이 아니라 교과 개념과 장면 사이의 대응이며, 그 대응은 교과서와 지도서라는 특정 자료에서 온다.

두 번째 반론은 벤치마크의 성격에 관한 것이다. 저자들이 직접 만든 중학교 물리 벤치마크에서의 우위는, 데이터를 만든 사람과 방법을 만든 사람이 같다는 점에서 늘 검증 부담을 안는다. 논문은 여러 기준선과의 비교를 제시하지만, 이 글에서 확인할 수 있는 것은 초록 수준의 주장이라는 점을 밝혀 둔다.

세 번째는 '얼려 둔 인코더'라는 선택에 대한 물음이다. 둘째 단계에서 시각 인코더를 고정하는 것은 안정적이지만, 다큐멘터리 영상의 화면 문법이 사전학습 데이터와 크게 다르다면 그 간극은 남는다. 논문은 셋째 단계에서 두 인코더를 함께 푸는 것으로 이에 대응한다.

논문이 스스로 인정한 한계, 그리고 남는 질문

이 글에서 확인한 범위 안에서 논문이 밝힌 조건은 분명하다. 실험 무대는 중학교 물리로 한정된 벤치마크이고, 감독 신호는 희박하다. 개념이 교과서와 지도서의 예시-개념 쌍으로 정리될 수 있다는 전제 위에 서 있다. 개념이 문서화되지 않는 영역, 예컨대 교사가 즉석에서 만드는 비유라면 이 전제는 흔들린다.

그래도 이 논문이 던지는 질문은 교육 밖으로 나온다. 우리는 검색창에 늘 '보이는 것'을 적도록 길들여졌다. 그러나 실제로 찾고 싶은 것은 자주 보이지 않는 것이다. 개념을 중간 앵커로 세우는 발상은 영상 아카이브, 강의 녹화, 심지어 회의 기록 검색에도 같은 형태로 적용될 수 있다.

1884년 파리 물리·화학 학교의 실험실 — L. Poyer, Public domain (Wikimedia Commons)

당신이 마지막으로 영상 검색창에 입력한 문장은 화면에 보이는 것의 묘사였나, 아니면 머릿속에 있는 개념의 이름이었나. 그리고 그 검색은 성공했나.

참고 자료

Haiming Zhao, Tai Wang, Kun Zhang, Xicheng Peng, Zhiyang Li, "Concept Driven Domain Adaptation: Finding an Abstract Needle in a Haystack", arXiv:2610.00973v1 (physics.ed-ph, cs.CV), 2026-10-01, 19 pages, 10 figures.

논문 초록: https://arxiv.org/abs/2610.00973v1

이미지 출처: 물리 실험실 장비 사진 — Nader Moussa(aka Nimur), CC BY-SA 3.0, Wikimedia Commons. 1884년 파리 물리·화학 학교 실험실 삽화 — L. Poyer, Public domain, Wikimedia Commons.