AI 에이전트들이 다이아몬드 스핀 실험을 직접 설계했다 — 그리고 자기 결과를 스스로 기각했다 (arXiv 2610.40589)

실험실에 다이아몬드 조각 하나가 있다. 이 투명한 결정 안에는 질소 원자와 빈 자리가 나란히 앉은 결함, 이른바 NV(질소-공극) 색중심이 들어 있다. 일반적으로 이 결함의 전자 스핀은 상온에서도 비교적 긴 시간 동안 양자 상태를 유지하기 때문에, 마이크로파를 쏘아 스핀을 조작하고 형광을 읽는 방식의 양자 센서·큐비트 실험에 널리 쓰인다. 문제는 이 스핀이 마이크로파 펄스에 어떻게 반응하는지가 시료마다, 장비 상태마다 조금씩 달라진다는 점이다. 2026년 10월 29일 arXiv에 올라온 논문 「Collaborative AI agents for autonomous experimental research with solid-state quantum spins」는 바로 이 지점에서 시작한다. 실험을 대신 수행하는 것이 아니라, 실험을 설계하고, 의심하고, 다시 설계하는 쪽을 언어모델 기반 에이전트들에게 맡긴 것이다.

실험을 하는 AI가 아니라, 실험을 의심하는 AI

논문의 저자들은 El Mustapha Mansouri, Eikichi Kimura, Masato Koga, Keigo Arai 네 명이다. 이들이 내세우는 목표는 “질문을 공식화하는 것부터 원고를 준비하는 것까지” 한 연구를 통째로 수행하는 자율 연구실이다. 다만 저자들은 기존 AI 시스템의 약점을 먼저 지적한다. 최근 시스템들은 연구의 여러 역할을 나눠 맡지만, 증거가 뒷받침하지 않는 결론을 끌어낼 수 있다는 것이다.

그래서 이 논문의 설계는 독특하다. 에이전트들이 서로의 작업을 평가하고, 필요하면 조사를 중단시키거나 방향을 바꿀 수 있게 했다. 스스로 연구 질문을 생성하고 또 기각하며, 별도의 이론 검증을 요구하고, 자기 주장을 반박하기 위해 설계된 실험을 수행한다. 핵심은 정답을 잘 맞히는 능력이 아니라, 자기 결론을 무너뜨릴 수 있는 절차를 스스로 밟는 능력이다.

논문이 실제로 요구한 것: 캘리브레이션은 몇 개면 충분한가

구체적인 과제는 측정의 경제성 문제였다. 마이크로파 펄스 열(pulse sequence)이 정해진 한 가족(family)에 대해, 시료가 어떤 반응을 보일지 예측하려면 최소 몇 개의 캘리브레이션 설정이 필요한가. 캘리브레이션을 많이 하면 정확해지지만 시간이 들고, 적게 하면 예측이 흔들린다. 에이전트들은 이 최소 개수를 이론적으로 유도해냈다.

유도한 결과는 그대로 믿지 않았다. 저자들은 에이전트들이 그 결과를 계산으로 검증했고, 나아가 서로 경쟁하는 예측들을 구별할 수 있는 실험을 설계했다고 적는다. 이 지점이 이 논문을 단순한 자동화 도구 소개와 갈라놓는다. 결과를 내는 것과, 그 결과가 틀렸을 때를 설계하는 것은 다른 일이다.

이온 조사로 다이아몬드 표면에 형성된 NV 색중심 고밀도 영역의 형광(PL) 지도. 밝은 원반이 조사된 영역이며, 스케일 바는 1 µm — Lillian B. Hughes, Zhiran Zhang, Chang Jin, Simon A. Meynell, CC BY 4.0 (Wikimedia Commons)

반전: 예측은 맞았는데, 데이터가 흔들리고 있었다

첫 실험은 성공한 것처럼 보였다. 측정값이 이론 예측과 일치했다. 여기서 대부분의 자동화 파이프라인은 논문을 쓰기 시작한다. 그러나 이 시스템은 반복 기준 측정(reference measurements)을 함께 돌렸고, 그 데이터는 다른 이야기를 했다. 데이터 수집이 진행되는 동안 신호 자체가 표류(drift)하고 있었던 것이다.

신호가 흘러가는 중에 찍은 데이터가 우연히 이론값 근처를 지나갔다면, 그 일치는 증거가 아니라 타이밍의 산물일 수 있다. 에이전트들은 이 결과를 결론 없음(inconclusive)으로 처리했다. 그리고 여기서 두 번째 선택이 나온다. 흔한 대응은 “그래도 경향은 맞으니 허용 오차를 조금 넓히자”다. 이 시스템은 그러지 않았다.

기준을 낮추지 않고 측정 프로토콜을 고치다

논문이 명시한 대로, 에이전트들은 합격 기준을 완화하지 않은 채 측정 프로토콜을 수정했다. 기준을 고정해 두고 방법을 바꾼다는 것은, 결과를 위해 기준을 맞추는 대신 기준을 위해 절차를 다시 짜는 일이다. 수정된 실험은 그 기준을 통과했고, 이번에는 이론 예측을 뒷받침했다.

이 순서가 중요한 이유가 있다. 만약 첫 실험에서 기준을 살짝 풀었다면, 같은 데이터가 “일치”로 분류되었을 것이고 논문은 존재하지 않았을 주장을 담게 되었을 것이다. 저자들이 보여주려는 것은 정확한 측정값 하나가 아니라, 불리한 증거를 처리하는 규칙이 시스템 안에 들어 있다는 사실이다.

왜 에이전트끼리 서로 검증하게 했나

단일 모델에게 “네 결과를 검토하라”고 하면, 검토는 대개 변호가 된다. 이 논문은 역할을 분리해 그 문제를 우회한다. 질문을 만드는 쪽, 이론을 검증하는 쪽, 반박 실험을 설계하는 쪽이 나뉘고, 각자는 다른 쪽의 산출물을 통과시켜야 한다. 저자들은 이를 “에이전트들이 서로의 작업을 평가하고 조사를 멈추거나 재조정할 수 있다”고 요약한다.

실험실 자동화의 오랜 병목은 장비 제어가 아니라 판단이었다. 로봇 팔은 이미 시료를 옮기고 측정을 반복한다. 어려운 것은 “이 데이터는 이상하다”고 말하는 일이다. 이 사례에서 그 판단은 사람이 아니라, 기준 측정값과 이론 예측 사이의 불일치를 감시하는 절차에서 나왔다.

다이아몬드 격자 안의 질소-공극(NV) 색중심 모형. 탄소 원자 사이에 질소(N)와 빈 자리(V)가 인접해 앉아 있다 — NIST, Public domain (Wikimedia Commons)

반론: 이것은 자율 연구인가, 잘 짜인 워크플로인가

가장 자연스러운 반론은 이렇다. 기준 측정을 반복해 드리프트를 감시하고, 기준 미달이면 프로토콜을 고친다는 것은 실험실의 표준 관행이다. 그것을 코드로 옮겼다면 새로운 것은 AI가 아니라 자동화의 성숙도다. 실제로 이 시스템의 판단 규칙 상당 부분은 사람이 미리 정한 수용 기준 위에서 작동한다.

다른 반론은 범위에 관한 것이다. 시료는 다이아몬드 스핀 앙상블이고, 과제는 정해진 마이크로파 펄스 가족에 대한 반응 예측이었다. 탐구 공간이 좁고 목표가 명확할수록 자율성은 쉽게 보인다. 저자들도 이 연구가 “하나의 사례 연구”임을 부인하지 않는다. 다만 어느 쪽이든, 이 논문은 자율성의 정의를 “무엇이든 묻는 능력”이 아니라 “자기 결론을 반증할 실험을 요구하는 능력”으로 옮겨 놓았다.

논문이 스스로 인정한 한계

이 글에서 확인할 수 있는 범위에서, 논문은 이 결과를 일반적인 과학 연구 전반으로 확장하지 않는다. 검증된 것은 다이아몬드 스핀 앙상블에서의 특정 측정 과제이고, 에이전트들이 유도한 것도 그 과제의 캘리브레이션 최소 개수다. 다른 분야, 다른 시료, 다른 측정 방식에서 같은 절차가 작동하는지는 이 논문이 답하지 않는다.

또 하나 분명한 것은, 실패한 첫 실험을 폐기하지 않고 기록했다는 점이다. 표류가 있었다는 사실과 그것을 어떻게 처리했는지가 본문의 일부다. 이것은 강점인 동시에, 이 시스템이 아직 사람의 사후 검토를 전제로 운용된다는 뜻이기도 하다. 최종 판단의 책임이 어디에 있는지는 논문이 명시하지 않는다.

독자에게 던지는 질문

이 사례에서 인상적인 것은 에이전트가 정답을 맞힌 순간이 아니라, 자기가 방금 얻은 일치를 스스로 불신한 순간이다. 연구에서 가장 값비싼 능력은 좋은 결과를 만드는 것이 아니라, 좋은 결과처럼 보이는 것을 의심하는 것이다. 그 의심을 절차로 만들 수 있다면, 자동화의 다음 단계는 손이 아니라 판단에 있을지도 모른다.

여러분이라면 어떤 기준을 시스템에 맡기겠는가. “이 데이터는 믿을 수 없다”고 기계가 말할 때, 우리는 그 판단을 얼마나 검토해야 안심할 수 있을까. 반대로 사람이 그 말을 무시했을 때의 책임은 누구에게 있을까.

참고 자료

El Mustapha Mansouri, Eikichi Kimura, Masato Koga, Keigo Arai, “Collaborative AI agents for autonomous experimental research with solid-state quantum spins”, arXiv:2610.40589v1 (2026-10-29). https://arxiv.org/abs/2610.40589v1

이미지 출처: NV 색중심 형광 지도 — Lillian B. Hughes, Zhiran Zhang, Chang Jin, Simon A. Meynell, CC BY 4.0, Wikimedia Commons. NV 색중심 격자 모형 — NIST, Public domain, Wikimedia Commons.