46/168 — 물리학자 42명이 만든 56개 과제 앞에서 AI 에이전트가 무너진 지점 (arXiv 2611.06910)

2026년 11월 4일, arXiv에 FrontierPhysics: Evaluating Agents for End-to-End Physics Research라는 논문이 올라왔다. 초록 첫머리에는 숫자가 세 개 붙어 있다. 42명의 물리학자, 56개의 과제, 22개 모델에 26가지 설정. 이 물리학자들은 다른 사람의 문제를 모은 것이 아니라 자기 연구에서 실제로 다루던 문제를 꺼내 과제로 만들었다. 그렇게 만든 시험대에 최전선 모델들을 세웠더니, 어떤 설정도 자기 롤아웃 168회 가운데 46회를 넘기지 못했다.

46/168은 27.4%다. 절반은커녕 3분의 1에도 닿지 않는다. 더 흥미로운 것은 실패의 성격이다. 논문은 에이전트의 궤적을 사람이 직접 읽고 나서, 약점이 물리 지식의 부족도 아니고 실행 오류도 아니라고 적는다. 부족한 것은 추론의 엄밀함과 전문가적 직관이었다. 지식은 있는데 연구가 되지 않는 상태, 그 간극을 재려고 만든 벤치마크다.

정답이 있는 문제만 재던 시대

논문이 기존 벤치마크를 규정하는 방식은 짧고 정확하다. 고정된 질문, 분리된 하위 과제, 혹은 해답이 주어진 논문 재현. 세 가지 모두 연구의 한 조각만 잘라낸다. 고정된 질문은 지식의 양을 재고, 하위 과제는 특정 기술의 숙련도를 재며, 해답이 주어진 재현은 이미 정해진 길을 따라갈 수 있는지를 잰다.

그리고 논문은 이 셋이 공통으로 빠뜨리는 것을 지적한다. 정답 여부와 연구의 품질을 함께 보는 경우가 거의 없다는 점이다. 틀린 답을 내는 연구는 나쁜 연구지만, 맞는 답을 내면서도 연구로서 성립하지 않는 결과물이 있다. 방법이 검증 불가능하거나, 문헌을 읽지 않았거나, 자기 결과의 한계를 모르는 경우다. FrontierPhysics는 이 두 번째 종류의 실패를 측정 대상으로 삼겠다고 선언한다.

과제 하나는 문헌 검토에서 원고까지다

56개의 과제는 이론·계산·실험 물리학에 걸친 아홉 개 분야에 흩어져 있다. 각 과제는 에이전트에게 네 단계를 요구한다. 먼저 문헌을 검토하고, 다음으로 연구 계획을 세우고, 그 계획대로 연구와 실험을 수행하고, 마지막으로 구조화된 출력과 과학적 원고를 낸다. 문제 하나를 주고 답을 받는 구조가 아니라, 연구의 시작과 끝을 한 번에 통과시켜야 하는 구조다.

이 설계에서 눈에 띄는 것은 원고(manuscript)가 산출물 목록에 들어 있다는 점이다. 계산 결과만으로는 통과할 수 없고, 결과를 과학적 글로 정리하는 능력까지 평가 대상에 포함된다. 실패가 어디서 발생했는지를 사후에 분해할 수 있게 만든 것이 이 벤치마크의 실용적 장점이다. 문헌 검토에서 무너졌는지, 계획에서 무너졌는지, 실행에서 무너졌는지, 서술에서 무너졌는지가 갈린다.

CERN 제어실의 모니터들 — Robert Scoble, CC BY 2.0 (Wikimedia Commons)

실험 과제가 포함된 벤치마크라는 점은 가볍지 않다. 실제 실험은 장비와 시간이 필요하고, 에이전트가 손댈 수 있는 부분은 제한된다. 그래서 실험 분야 과제는 무엇을 어떻게 검증할 것인가라는 설계 문제를 정면으로 만난다. 논문은 과제를 만든 물리학자들이 자기 연구를 기준으로 삼았다고 밝히지만, 그 연구가 실험실에서 어떤 형태로 에이전트에게 주어졌는지는 초록 수준에서는 드러나지 않는다.

두 개의 자로 채점한다

채점은 두 갈래다. 하나는 결정론적 검증기(deterministic verifiers)다. 계산 결과나 수치처럼 기계적으로 확인 가능한 부분을 흔들림 없이 판정한다. 다른 하나는 전문가가 작성한 루브릭이다. 연구 계획의 타당성, 문헌 검토의 적절성, 원고로서의 완성도처럼 수치로 떨어지지 않는 부분을 사람이 세운 기준으로 평가한다.

이 조합은 각각의 약점을 상쇄하려는 시도로 읽힌다. 결정론적 검증기만 쓰면 형식은 맞지만 연구로서 무의미한 답이 통과하고, 루브릭만 쓰면 채점자의 주관과 피로가 결과를 흔든다. 논문은 두 자를 함께 세워 정확성과 게재 가능성(publishable)을 동시에 묻겠다고 말한다. 다만 루브릭 채점의 신뢰도, 즉 채점자 간 일치도가 어느 수준이었는지는 초록에 숫자로 제시되지 않는다.

168회 가운데 46회

결과는 한 문장으로 요약된다. 22개 모델을 26가지 설정으로 돌린 전체 실험에서, 168회의 롤아웃 중 46회를 넘긴 설정은 없었다. 168은 56개 과제의 세 배와 정확히 맞아떨어지지만, 과제당 롤아웃 수를 초록이 명시하지는 않으므로 이 대응은 산술적 관찰일 뿐 논문의 진술이 아니다.

점수를 해석할 때 조심할 것이 하나 있다. 46/168이라는 수치는 모델이 아무것도 하지 못했다는 뜻이 아니다. 결정론적 검증기를 통과하는 계산이나 구조화된 출력은 상당 부분 만들어냈을 가능성이 크다. 무너진 것은 그 앞뒤의 판단이다. 무엇을 먼저 확인할지, 어느 근사를 쓸지, 결과가 나왔을 때 그것을 믿을지 결정하는 층위다.

중요한 것은 최고 점수 자체보다 분포다. 최전선 모델들이 한두 과제에서 완전히 실패하는 것이 아니라, 어떤 설정을 골라도 3분의 2 이상의 롤아웃에서 기준을 넘지 못한다. 이는 특정 분야의 지식 공백이라기보다, 긴 호흡의 연구 과정 전반에서 같은 종류의 누수가 반복된다는 신호로 읽힌다. 벤치마크 설계자들이 22개 모델과 26개 설정을 동원한 이유도 여기에 있을 것이다.

반전 — 지식이 아니라 엄밀함

논문의 가장 흥미로운 대목은 실패의 원인 진단이다. 연구자들이 에이전트의 궤적을 사람이 직접 검토한 결과, 주된 약점은 물리 지식의 부족이 아니었다. 실행 오류도 아니었다. 지목된 것은 불충분하게 엄밀한 추론과 제한된 전문가적 직관이었다.

칠판 앞의 엔리코 페르미 — Smithsonian Institution, 퍼블릭 도메인 (Wikimedia Commons)

이 진단은 벤치마크의 존재 이유를 바꾼다. 지식 시험이라면 더 큰 모델과 더 많은 데이터로 해결될 문제다. 그러나 엄밀함과 직관은 다른 종류의 능력이다. 어떤 근사를 어디까지 정당화할 수 있는지, 이 결과가 물리적으로 말이 되는지, 어느 가설을 먼저 의심해야 하는지는 교과서에 적히지 않는다. 논문이 측정한 것은 암기된 물리학이 아니라 연구자로서의 판단력이다.

직관이라는 단어를 조심해서 읽을 필요가 있다. 이것은 신비한 감각이 아니라, 계산 결과를 보았을 때 이건 틀렸다는 감지가 작동하는 상태를 가리킬 것이다. 전문가는 차원이 맞지 않거나 자릿수가 어긋난 답을 즉시 의심한다. 에이전트는 그 의심을 자동으로 생성하지 못하고, 그 결과 검증 가능한 형태의 오류를 원고까지 끌고 간다.

반론 — 56개 과제가 연구를 대표할 수 있는가

가장 먼저 나올 반론은 표본의 문제다. 56개 과제, 42명의 물리학자, 아홉 개 분야. 물리학 전체의 연구를 대표하기에는 좁다. 게다가 과제를 만든 사람들이 자기 연구를 기준으로 삼았다는 것은 강점이자 약점이다. 실제 연구에 가깝지만, 동시에 그 42명의 문제 설정 방식에 벤치마크가 정렬된다.

두 번째 반론은 루브릭 채점의 재현성이다. 게재 가능성이라는 기준은 학회와 분야에 따라 다르게 작동한다. 같은 원고가 어느 저널에서는 통과하고 어느 곳에서는 거절되는 것이 정상인 영역에서, 단일 루브릭으로 판정한 결과를 얼마나 신뢰할 수 있는지는 별도의 검증이 필요하다.

논문이 스스로 인정한 한계도 이 지점과 맞닿아 있다. 초록은 벤치마크가 정확성과 게재 가능성을 함께 본다고 말하지만, 그 두 기준이 충돌할 때 무엇이 우선인지, 그리고 평가자 간 편차를 어떻게 통제했는지는 밝히지 않는다. 또한 에이전트의 실패 원인을 사람이 궤적을 읽어 진단했다는 방법 자체가, 그 진단의 재현성을 보장하지 않는다.

그래서 우리는 무엇을 재고 있는가

이 논문이 남기는 질문은 점수표가 아니다. 연구를 한다는 것이 무엇인지에 대한 정의다. 만약 최전선 모델이 물리 지식은 갖추고 있으면서 연구는 하지 못한다면, 우리가 지금까지 AI의 과학 능력을 재던 방식은 지식의 양을 재고 있었을 가능성이 크다. 그리고 그 지표는 앞으로 별로 유용하지 않을지도 모른다.

동시에 이 벤치마크는 평가자 쪽의 능력도 요구한다. 56개 과제의 원고를 읽고 게재 가능성을 판정하려면, 판정하는 사람이 그 분야의 연구자여야 한다. 자동화된 평가가 어려운 대상을 자동화된 에이전트로 재려는 시도가, 결국 사람의 시간을 더 요구하는 역설도 여기 있다. 여러분이라면 에이전트의 연구 원고를 심사할 때, 정확성과 게재 가능성 중 어느 쪽에 먼저 점수를 주겠는가.

참고 자료

arXiv 2611.06910v1 — FrontierPhysics: Evaluating Agents for End-to-End Physics Research (Bingran You 외, 2026-11-04)
https://arxiv.org/abs/2611.06910v1

본문의 수치(42명, 56개 과제, 9개 분야, 22개 모델, 26개 설정, 168회 중 46회)는 모두 해당 논문의 초록에서 인용했다. 초록에 없는 내용은 논문이 주장한다는 형태로만 서술했다.