로봇은 실험 절차를 외웠지만, 비커를 집지는 못한다 — BEAKER 벤치마크

새벽 세 시의 실험실을 상상해 보자. 로봇 팔이 시약병 다섯 개가 꽂힌 랙 앞에 서 있고, 카메라 두 대가 위에서 내려다본다. 사람이라면 3초면 할 일이 남아 있다. 어느 병이 목표 시약인지, 뚜껑을 잡을 손잡이가 어디인지, 지금 손을 뻗으면 옆 병을 치게 되는지. 2026년 11월 4일 arXiv에 올라온 논문 「BEAKER」는 바로 이 3초의 판단을 기계에게 물었다. 저자 18명, 화학자와 체화 인공지능 연구자들이 함께 만든 1,000문항짜리 시험지다.

결론부터 말하면 답은 이렇다. 최신 멀티모달 대형언어모델(MLLM) 28종은 영상 속 실험 절차를 '대충' 따라 말하는 데는 성공했다. 그러나 손을 어디에 대야 하는지, 그 손이 지나갈 경로가 물리적으로 가능한지를 묻는 순간 무너졌다. 이 글은 그 간극이 어디서 생기는지, 그리고 그 간극을 벤치마크 하나로 재는 것이 정당한지에 대한 이야기다.

1,000문항은 어떻게 만들어졌나

BEAKER는 'Benchmark for evaluating Embodied Actionability, Knowledge, Experimentation, and Reasoning'의 약자다. 이름을 풀어 쓴 그대로, 실행 가능성(actionability)이 이 벤치마크의 중심축이다. 규모는 1,000개의 질문-답 쌍이고, 담긴 매체는 이미지와 영상, 과제 유형은 11종이다. 논문이 강조하는 점은 생성 방식이다. 모든 질문과 주석은 화학 전공자와 체화 AI 전문가가 직접 만들고 검토했으며, AI를 이용한 생성이나 주석 달기를 쓰지 않았다고 명시한다.

이 선택은 의도적이다. 최근 벤치마크 상당수가 강한 모델로 문항을 대량 생성하고 사람이 걸러내는 방식을 쓴다. 그 방식은 빠르지만, 생성 모델이 이미 아는 것만 묻는 순환이 생긴다. 사람이 손으로 만든 1,000문항은 느리게 만들어졌고, 그래서 평가 대상 모델이 학습 과정에서 본 적 없는 형태의 질문을 담을 여지가 남는다. 논문은 이 점을 데이터 품질의 근거로 내세운다.

로봇 팔과 시험관 랙, 소형 자동화 장비가 한자리에 놓인 모습 — Shixart1985, CC BY 2.0 (Wikimedia Commons)

무엇을 묻는가 — 열한 가지 시험 유형

논문이 나열하는 과제는 크게 네 묶음으로 읽힌다. 첫째는 어포던스 그라운딩(affordance grounding)이다. 사진이나 영상 프레임 안에서 '지금 이 물체에서 실제로 잡을 수 있는 부위'를 짚어내는 일이다. 둘째는 궤적 계획(trajectory planning)으로, 로봇 손이 목표까지 지나갈 수 있는 경로를 고르는 문제다. 셋째는 장비·상태·안전 규범 인식, 넷째는 장치 설치와 조작·단계 추론, 그리고 중간 길이 절차의 시간적 순서 맞추기다.

이 목록에는 공통점이 있다. 전부 '실행 직전의 판단'이다. 실험 기구의 이름을 아는지, 화학 반응식이 맞는지는 묻지 않는다. 지식은 이미 있다고 가정하고, 그 지식이 손끝의 좌표로 번역되는지를 본다. 논문은 기존 실험실 벤치마크가 안전, 이상 감지, 일반 과학 이해에 치우쳐 실행 지향 능력을 거의 다루지 않았다고 지적한다. BEAKER는 그 빈칸을 겨냥한다.

스물여덟 개 모델, 한 번의 질문

평가 방식은 오프라인 단일 턴(offline, single-turn)이다. 모델에게 영상이나 이미지와 질문 하나를 주고, 한 번의 답을 받는다. 대화를 주고받으며 스스로 오류를 고치는 과정은 측정하지 않는다. 이 조건에서 범용 모델, 과학 특화 모델, 화학 특화 모델, 체화 모델까지 28종이 같은 시험지를 풀었다. 논문은 이렇게 한 번의 응답으로 재는 것이 실제 로봇 제어보다 훨씬 관대한 조건이라고 밝힌다.

결과의 방향은 일관됐다. 모델들은 영상에 담긴 굵직한 절차를 따라 말하는 능력은 보였다. 액체를 옮기고, 가열하고, 여과하는 순서를 문장으로 재구성하는 수준이다. 반면 어포던스 그라운딩과 실행 가능한 궤적 선택, 세밀한 기구·상태·안전 규범 인식, 중간 길이 절차의 단계 배열에서는 뚜렷하게 약했다. 즉 '무엇을 하는 실험인지'는 알지만 '어디를 어떻게 만져야 하는지'는 모른다.

산업용 로봇 팔이 설치된 교육·연구용 자동화 라인 — Нечаева Лилия Александровна / Фотостудия РТУ МИРЭА, CC BY-SA 4.0 (Wikimedia Commons)

반전 — 요약과 실행 사이의 간극

이 결과가 흥미로운 이유는 실패의 성격에 있다. 모델이 절차를 전혀 모르는 것이 아니라, 아는 절차를 좌표로 내리지 못한다. 영상 전체를 요약하는 일은 저해상도 정보로도 가능하다. 그러나 손가락이 들어갈 틈, 뚜껑의 회전축, 피펫 끝의 높이 같은 정보는 프레임의 국소 영역에만 존재한다. 논문이 말하는 '굵은 절차 이해와 정밀한 행동 기반 지각 사이의 간극'이 바로 이 지점이다.

이 간극은 벤치마크 설계에도 영향을 준다. 질문이 '무엇을 하는 실험인가'에 머물면 점수가 쉽게 오르고, '어느 손가락을 어디에 대는가'로 내려가면 급격히 떨어진다. 그래서 같은 모델이 과제 유형에 따라 극단적으로 다른 인상을 준다. 논문은 이 편차 자체를 진단 신호로 쓰자고 제안한다. 하나의 종합 점수보다, 어느 층위에서 끊기는지가 더 유용하다는 발상이다.

경쟁 가설과 반론

첫 번째 반론은 조건의 인공성이다. 단일 턴, 오프라인, 대화 없음. 실제 자율 실험실은 카메라를 여러 각도로 두고, 실패하면 다시 시도하고, 센서로 확인한다. 그런 되먹임이 있는 환경에서는 지금의 약점이 상당 부분 상쇄될 수 있다. 논문도 이 조건이 실제 배치보다 관대하다고 인정하지만, 동시에 되먹임이 약한 지각을 근본적으로 고치지는 못한다는 입장이다. 어느 쪽이 옳은지는 실제 로봇 위에서의 후속 실험이 가려야 한다.

두 번째 반론은 데이터 오염이다. 공개된 실험실 영상은 인터넷에 널려 있고, 모델의 사전학습 말뭉치에 이미 들어갔을 수 있다. 그러면 벤치마크는 지각이 아니라 기억을 측정하게 된다. 저자들이 전문가 수작업과 AI 생성 배제를 강조한 것도 이 우려에 대한 방어다. 다만 수작업 문항도 촬영 대상이 공개 영상이라면 완전히 자유롭지 않다. 이 지점은 논문이 완전히 닫지 못한 구멍이다.

세 번째는 벤치마크의 수명 문제다. 1,000문항은 모델 세대가 두세 번 바뀌면 포화될 수 있다. 포화된 벤치마크는 더 이상 진단하지 못하고, 순위표만 남긴다. 논문은 BEAKER를 미래 MLLM을 위한 진단 도구로 규정하는데, 그 주장이 유지되려면 문항 갱신 주기가 함께 설계되어야 한다. 초록에는 그 계획이 보이지 않는다.

논문이 스스로 인정한 한계

저자들이 명시한 한계는 평가 환경이다. 오프라인 단일 턴이라는 조건은 실제 로봇의 폐루프 제어를 재현하지 못한다. 실험실의 물리적 지연, 센서 노이즈, 부분적 실패 후 복구 같은 요소가 빠져 있다. 따라서 낮은 점수를 '이 모델은 실험실에서 쓸 수 없다'로 곧바로 번역하면 과잉 해석이다. 논문은 이를 '실행 지향 지각의 진단'으로 한정해 읽으라고 요구한다.

또 하나는 범위다. 1,000문항과 11개 유형은 화학 실험의 전 범위를 덮지 않는다. 생물·재료·분석화학의 특수 장비는 다른 지각 문제를 낳는다. 논문은 BEAKER를 자기완결적 표준이 아니라 출발점으로 두고, 후속 확장을 남겨 둔다. 이 겸손함은 장점이지만, 동시에 지금 시점에서 BEAKER 점수로 모델 간 우열을 단정하기 어렵다는 뜻이기도 하다.

독자에게 던지는 질문

자율 실험실의 병목이 어디라고 생각하는가. 많은 사람이 '화학 지식'을 떠올리지만, 이 논문이 가리키는 병목은 지식이 좌표로 번역되는 마지막 몇 센티미터다. 그렇다면 우리가 모델에게 가르쳐야 할 것은 더 많은 반응식이 아니라, 손이 지나갈 공간에 대한 감각일지도 모른다. 벤치마크의 점수를 올리는 일과 실험실에서 실제로 병을 옮기는 일은 같은 방향의 노력인가.

또 하나. 만약 어떤 모델이 이 시험에서 높은 점수를 받는다면, 우리는 그것을 신뢰할 준비가 되어 있는가. 실험실의 실수는 되돌릴 수 없고, 시약은 사람을 다치게 한다. 지각 능력의 측정과 안전 허가의 기준 사이에는 아직 아무 다리가 없다. BEAKER는 그 다리의 첫 도면일 뿐이다.

참고 자료

Fei Lin 외 17인, 'BEAKER: An Expert-Curated Benchmark for Embodied Brains in Self-Driving Chemical Laboratories', arXiv:2611.06911v1 (2026-11-04).
https://arxiv.org/abs/2611.06911v1

이미지 출처: Wikimedia Commons — Shixart1985 (CC BY 2.0), Нечаева Лилия Александровна / Фотостудия РТУ МИРЭА (CC BY-SA 4.0). 두 이미지 모두 원저작자와 라이선스를 표기해 사용했다.