AI가 수학 추측 200개에 답했다는데, 60%가 '답'이었다 — 그 답을 믿어도 될까

2026년 2월 이후 arXiv에 올라온 수학 논문에서 추측(conjecture)만 뽑아 모은 데이터셋이 있다. 이름은 OpenConjecture. 그중 무작위로 고른 200개를 최신 GPT 계열 모델에게 세 번씩 풀게 했더니, 약 60%에서 후보 해답이 나왔다. 문제를 골라주지도 않았고, 문제마다 맞춤형 수학적 힌트를 주지도 않았다. 그런데 이 숫자보다 눈에 걸리는 것은 그 다음 줄이다. 나온 답 중 반례(counterexample)가 증명(proof)보다 약 1.3배 많았다. 증명을 요구한 것이 아니라 반례가 더 자주 튀어나온 것이다. 헬렌 제니(Helen Jenne), 데이비스 브라운(Davis Brown), 제시 허(Jesse He), 헨리 크빙게(Henry Kvinge)가 쓴 이 논문의 진짜 주제는 'AI가 수학을 잘한다'가 아니라 '우리가 그 잘함을 어떻게 채점하고 있는가'다.

왜 '대표 성과'만 보면 착시가 생기나

지난 1년 사이 프런티어 언어 모델이 오래된 미해결 추측을 증명하거나 반례로 무너뜨렸다는 소식이 잇따랐다. 그런 소식은 사실이다. 문제는 그 목록이 성과의 목록이라는 점이다. 성과만 모아 놓으면 분모가 사라진다. 어떤 종류의 문제에서, 어떤 조건에서, 얼마만큼의 계산 자원을 넣었을 때 성공했는지가 빠진 채 분자만 남는다.

논문은 이 분모를 복원하려 한다. 방법은 화려하지 않다. 최신 논문에 이미 실려 있는, 그러니까 누군가 진지하게 던져 둔 추측을 무작위로 뽑아 모델에게 던진다. 저자들이 강조하는 것은 문제 특화 가이드 없이 돌렸다는 점이다. 특정 추측에 맞춰 프롬프트를 다듬으면 그건 벤치마크가 아니라 공연이 된다. 재현 가능한 하나의 프로토콜로 세 번 반복했다는 것도 같은 이유에서 중요하다.

200개, 세 번, 그리고 60%

규모를 정리하면 이렇다. arXiv에 2026년 2월 이후 실린 수학 논문에서 추측을 수집하고, 그중 무작위 표본 200개를 골라, 세 차례 반복했다. 결과는 약 60%에서 후보 해답. 세 번 돌렸다는 것은 운 좋은 한 번을 걸러내기 위한 장치이기도 하지만, 동시에 같은 문제에서 매번 다른 답이 나올 수 있다는 뜻이기도 하다.

2015년 러시아 카렐리야 연구센터 세미나에서 화이트보드에 논증을 적는 수학자 알렉산드르 키릴로프 — Andrew Krizhanovsky, 퍼블릭 도메인 (Wikimedia Commons)

저자들이 내건 가장 중요한 방법론적 선택은 따로 있다. 나온 후보 해답을 전문가가 하나하나 검증하지 않았다는 것이다. 대신 어떤 종류의 문제에서 답이 나오는지, 그리고 그 답이 어떤 성질을 갖는지를 분석했다. 맞고 틀림의 이분법 대신 답의 형태를 들여다보겠다는 태도다. 이 선택은 겸손해 보이지만 실은 더 가혹하다. 정답 판정을 미루는 순간, '정답률 60%'라는 숫자는 의미를 잃고 '후보를 만들어낸 비율 60%'가 되기 때문이다.

반례가 증명보다 1.3배 많다는 사실

논문에서 가장 해석이 갈리는 숫자가 이것이다. 후보 해답 가운데 반례가 증명보다 약 1.3배 흔했다. 언뜻 보면 모델이 부정적인 쪽에 재능이 있다고 읽힌다. 하지만 다른 읽기도 가능하다. 추측을 반박하는 일은 대개 하나의 구체적 대상(작은 군, 특정한 그래프, 반복되는 반례 계열)을 제시하는 것으로 끝난다. 반면 증명은 전체 논증 구조를 세워야 한다. 반례가 더 자주 나오는 것은 재능의 방향이라기보다 작업의 형태 차이일 수 있다.

그리고 여기에 함정이 하나 더 있다. 반례가 '반례처럼 보이는 것'과 '저자가 의도한 명제의 반례인 것'은 다르다. 논문은 바로 이 지점을 파고든다. 모델이 내놓은 해결이 추측 자체의 오류나 불충분한 서술(underspecification)에 기대고 있는지, 즉 반박한 것이 수학인지 아니면 애매하게 쓰인 문장인지를 분석한다.

가장 아픈 반전 — 자명한 군을 반례로 내놓다

논문이 직접 든 예가 있다. 모델이 때때로 저자의 의도 밖에 있는 해결을 제안한다는 것, 그 사례로 자명군(trivial group)을 반례로 내놓는 경우를 든다. 군론에서 '자명군도 군이다'는 사실은 맞다. 하지만 어떤 추측이 자명한 대상을 배제하고 세워졌다면, 자명군을 반례로 제시하는 것은 수학적으로 참인 문장이면서 수학적으로는 아무것도 해결하지 못한 답이다. 형식적으로 통과하고 내용적으로 빗나간 답.

민스크의 낡은 칠판에 남은 방정식들 — Roman Mager, CC0 (Wikimedia Commons / Unsplash)

이 사례가 중요한 이유는 그것이 예외가 아니라 채점 방식의 구멍을 보여주기 때문이다. 정답/오답만 채점하는 벤치마크에서 자명군 반례는 '정답'으로 집계될 수 있다. 저자들이 말하는 세 가지 기준 — 원래 명제에 대한 충실성(fidelity), 기존 문헌에 대한 귀속(attribution), 그리고 기여의 성격 — 은 모두 이 구멍을 메우기 위해 등장한다. 요약하면 이렇다. 맞았는가? 만이 아니라, 무엇을 맞혔는가를 물어야 한다.

참신함, 그리고 기존 결과와의 거리

논문은 후보 해답의 참신함(novelty)을 추정하고, 그 답이 기존 문헌을 어떻게 인용하고 관계 맺는지도 분석한다. 여기서 나온 결과는 양쪽으로 읽힌다. 한편으로는 상당수의 증명이 기존 결과에서 곧바로 따라 나오는(Follows closely) 것이었다. 다른 한편으로는 일부 해결이 적어도 중간 정도의 참신함은 보였다. 둘 다 사실이다. 이 두 문장을 함께 놓고 보면, 'AI가 새로운 수학을 한다'와 'AI가 아는 것을 재조립한다'는 주장이 같은 데이터에서 동시에 나올 수 있다는 것을 알 수 있다.

참신함을 자동으로 추정한다는 것 자체가 논쟁적이다. 참신함은 인용 그래프와 문헌 검색에 의존하는데, 그 검색이 놓친 선행 연구가 있다면 참신함은 과대평가된다. 논문은 이 점을 방법의 한계로 두고, 전문가 검증 대신 형태 분석을 택한 이유로 제시한다. 정직한 회피지만, 동시에 이 연구가 답하지 못하는 질문이 무엇인지도 분명히 한다.

경쟁 가설 — 그럼 60%는 어디서 오는가

첫 번째 가설은 이것이다. 최근 arXiv 논문의 추측은 대개 저자가 이미 근거를 갖고 있는 추측이다. 논문을 쓰면서 '이 정도는 성립할 것 같다'고 남긴 문장이 추측으로 수집되므로, 문제의 난이도 분포가 애초에 어렵지 않다. 이 가설이 맞다면 60%는 모델의 능력이 아니라 표본의 성질이다. 논문은 이 가능성을 데이터 수집 방식에서 이미 인정한다.

두 번째 가설은 반대다. 모델이 '답처럼 보이는 텍스트'를 만드는 데 능하고, 우리가 그것을 답으로 세고 있다는 것. 이 가설은 자명군 반례 사례와 기존 결과에 붙은 증명이라는 관찰로 뒷받침된다. 논문은 어느 쪽도 최종 판정하지 않는다. 대신 두 가설을 구분하려면 정답 여부를 넘어선 평가 축이 필요하다고 주장한다. 이 지점에서 이 논문은 벤치마크 논문이 아니라 평가 철학 논문이 된다.

저자들이 스스로 인정한 한계

저자들이 명시한 가장 큰 한계는 전문가 검증의 부재다. 후보 해답이 실제로 옳은지, 옳더라도 새로운 것인지는 수학자가 읽어야 판정되는데 이 연구는 그 단계를 건너뛰었다. 대신 문제 유형과 해답의 성질을 분석했다. 이것은 의도된 설계이지만, 동시에 '60%'라는 숫자가 정답률이 아니라는 것을 뜻한다.

또 하나는 표본과 시점의 문제다. 2026년 2월 이후 arXiv 논문에서 뽑은 200개는 그 시기의 수학 문화를 반영한다. 어떤 분야는 추측을 자주 남기고 어떤 분야는 거의 남기지 않으므로, 무작위 표본이라 해도 분야 구성은 균등하지 않다. 모델도 특정 세대의 GPT 계열로 한정된다. 논문은 이 결과를 '언어 모델 전반의 능력'으로 일반화하지 말라고, 평가 설계의 문제로 읽으라고 말한다.

독자에게 — 우리는 무엇을 채점하고 있는가

이 논문을 읽고 나면 남는 질문은 모델의 실력이 아니다. 우리가 '해결했다'고 부를 때 무엇을 세고 있는가 하는 질문이다. 형식적으로 참인 문장, 저자가 의도한 명제의 반박, 기존 결과에서 따라 나오는 증명, 그리고 실제로 새로운 논증. 이 네 가지가 같은 칸에 들어가 있는 한 정답률은 계속 부풀려진다.

당신이라면 자명군을 반례로 내놓은 모델에게 몇 점을 주겠는가. 아니, 그보다 — 당신이 어떤 주장을 '증명됐다'고 믿을 때, 그 판정은 누가 어떤 기준으로 내린 것인가. 이 논문은 그 질문을 모델이 아니라 우리 쪽으로 돌려놓는다.

참고 자료

Helen Jenne, Davis Brown, Jesse He, Henry Kvinge, 'Beyond Selected Breakthroughs: Evaluating Language Models on Randomly Sampled Mathematical Conjectures', arXiv:2610.40382v1 (2026-10-29), math.HO.

https://arxiv.org/abs/2610.40382v1