결투 전날 밤의 편지 — 갈루아는 PSL(2,p)의 지수 p 부분군을 어떻게 셈했나

1832년, 결투 전날 밤에 쓴 편지의 3쪽 아래 절반과 4쪽 전체가 타원함수론의 모듈러 방정식 이야기다. 갈루아는 그 자리에서 증명 없이 정리 하나를 던진다. 사영 특수선형군 PSL(2,p)가 지수 p인 부분군을 갖는 것은 p가 5, 7, 11일 때뿐이라는 것이다. 오늘날 이 정리는 1881년 기어스터가 완성한 PSL(2,p) 부분군 전수 분류의 따름정리로 처리된다. 헝가리 Rényi 수학연구소의 페테르 P. 팔피는 2026년 11월 4일 arXiv에 올린 일곱 쪽짜리 논문에서, 갈루아가 실제로 손에 쥘 수 있었던 도구만으로 이 정리를 다시 증명해 보겠다고 말한다.

편지가 남긴 세 개의 수

무대는 p+1개의 근을 가진 모듈러 방정식이다. 근 하나하나는 p원소 체 위의 사영직선, 즉 {0, 1, …, p−1, ∞}의 원소로 이름 붙는다. 갈루아는 이 근들에 작용하는 군이 x → (ax+b)/(cx+d) 꼴의 분수선형변환 군이라는 것을 알아본다. 그 안에서 ad−bc가 법 p의 제곱잉여일 때만 모이는 부분군이 지수 2의 정규부분군이고, 이것이 오늘날 PSL(2,p)라 불린다. p=2, 3이면 방정식의 차수가 3과 4라 근의 공식으로 풀리므로, 논의는 p≥5에서 시작한다.

그리고 편지는 이렇게 못 박는다. p≥5인 소수에 대해 PSL(2,p)가 지수 p인 부분군을 가지는 것은 p=5, 7, 11인 경우뿐이다. 갈루아는 p=5, 7, 11의 예를 나열한 뒤 “엄밀히 말해 더 큰 경우에는 이런 환원이 불가능하다”고 적었다. 증명은 없다. 같은 편지에서 단순성 정리도 “p=2, 3이 아닌 한 더 이상 분해되지 않는다는 것은 쉽게 보인다”는 한 줄로 끝나는데, 논문의 저자는 그 ‘쉬운 증명’이 무엇이었는지 지금도 알 수 없다고 말한다.

150년 동안의 증명들 — 베티, 조르당, 기어스터

이 정리의 증명은 갈루아의 편지 이후 줄곧 ‘나중에 온 사람들의 도구’로 만들어졌다. 1853년 베티가 처음으로 증명을 출판했는데, 그는 원시근 g의 홀수 거듭제곱이 특정한 두 합동식 중 하나를 만족할 때 지수 p 부분군이 존재한다는 충분조건을 주고, 11보다 큰 소수에서는 그 조건이 성립하지 않음을 확인했다. 1859년 에르미트는 p=5, 7, 11에서 모듈러 방정식의 차수 p 환원이 실제로 어떤 방정식이 되는지 계산했다. 1870년 조르당은 행렬군 SL(2,p)에서 선형대수로 첫 번째 올바른 증명을 냈지만, 그의 논법은 p>13을 요구해서 p=13만 별도의 임시 논증으로 메워야 했다.

1881년 클라인의 제자 기어스터가 박사논문에서 PSL(2,p)의 모든 부분군을 결정하면서 정리는 완전히 분류의 따름정리가 되었고, 1901년 딕슨은 임의의 q에 대한 PSL(2,q)로 일반화했다. 문제는 이 모든 증명이 갈루아 사후에 발명된 언어를 쓴다는 점이다. 정리는 170년 넘게 ‘알려져’ 있었지만, 정작 그것을 처음 주장한 사람이 어떻게 알았는지는 설명되지 않았다. 논문이 던지는 질문은 정리의 참이 아니라 그 증명의 연대다.

에바리스트 갈루아의 초상(1826년경, 작가 미상) — 퍼블릭 도메인 (Wikimedia Commons)

열쇠는 ‘짝지어진 글자’

증명은 군의 위수 계산에서 출발한다. |PSL(2,p)| = (p+1)p(p−1)/2이므로 지수 p인 부분군 H의 위수는 (p+1)(p−1)/2로 고정된다. H 안에서 ∞를 고정하는 부분군 H∞의 위수는 H의 위수와 G∞의 위수를 동시에 나누고, G∞의 위수는 p(p−1)/2다. 여기에 H∞의 지수가 순열되는 원소의 수, 즉 p+1 이하라는 조건을 겹치면 양쪽에서 |H∞| = (p−1)/2, |H:H∞| = p+1이 튀어나온다. H는 추이적이다.

다음은 논문이 먼저 증명하는 보조정리다. p원소 체 위의 일차함수군에서 위수가 p로 나뉘지 않는 부분군은 반드시 어떤 원소를 고정한다. 그래서 H∞는 어떤 c를 고정하고, x → x+c를 H에 켤레로 붙이면 H∞가 0도 고정하도록 만들 수 있다. 이제 x∼y를 Hx=Hy로 정의하면 이 관계는 H-불변이다. ∞의 동치는 {∞, 0}이고, 갈루아가 “lettres conjointes”라 부른 짝이 모든 원소를 둘씩 묶는다. 지수 p 부분군은 원소 p+1개를 두 개씩 짝지은 분할을 보존하는 비원시적 순열군이며, 프랑스 아카데미 도서관 15번 서류철의 찢어진 종이에는 비원시성의 정의가 갈루아의 필체로 남아 있다.

두 개의 이차방정식이 만드는 상한

1의 짝을 M이라 하자. M이 제곱이면 1∼M에서 M·1∼M·M, 즉 M²이 M의 짝이 되므로 M²=1, M=−1이다. 이때 모든 제곱 x에 대해 x∼−x가 되고, 1을 ∞로 보내는 H의 원소 h는 a(x−M)/(x−1) 꼴이어야 한다. 이 h가 짝 관계를 보존하려면 {∞, 0, 1, −1} 밖의 모든 x가 x²+1=0을 만족해야 하는데, 이차방정식의 근은 많아야 둘이다. 그러므로 p≤5다.

M이 제곱이 아니면 0이 아닌 모든 제곱 x에 대해 x∼Mx이고, 같은 보존 조건이 x²−(1+M)x+1=0 또는 x²−(1+1/M)x+1=0을 요구한다. 두 방정식의 근을 합쳐도 다섯 개를 넘지 않으므로, 0이 아닌 제곱의 개수 (p−1)/2는 5 이하이고 p≤11이다. 여기가 이 논문의 반전이다. 상한을 만든 것은 깊은 구조가 아니라 ‘이차방정식의 근은 셋일 수 없다’는 사실 하나다. 갈루아가 했다는 셈은 분류가 아니라 원소 세기였다.

12, 24, 60 — 정다면체가 나오는 이유

세 예외의 부분군 위수는 (p+1)(p−1)/2로 각각 12, 24, 60이다. 이것은 정확히 정사면체, 정육면체, 정이십면체의 회전대칭군의 위수다. 논문은 각 경우에 (p+1)개짜리 궤도를 골라 사영직선의 원소로 이름을 붙인다. p=5에서는 정사면체 모서리 여섯 개의 중점, p=7에서는 정육면체의 꼭짓점 여덟 개, p=11에서는 정이십면체의 꼭짓점 열두 개다. 이렇게 표기하면 회전이 일으키는 순열이 그대로 분수선형변환이 된다.

정이십면체 — en:User:Cyp, CC BY-SA 3.0 (Wikimedia Commons)

계산을 줄이려면 회전군의 생성원 두 개만 검사하면 된다. 하나는 0과 ∞를 지나는 축을 가진 회전으로 위수가 (p−1)/2이고, 다른 하나는 궤도의 어떤 점도 고정하지 않는 축 PQ 둘레의 회전이다. p=11이면 전자는 x → 3x, 후자는 x → (x−2)/(x−1)이다. 이 둘이 만드는 군이 위수 60의 추이적 순열군이라는 것이 확인되면 나머지는 따라온다. 다만 저자는 이 기하학적 검증이 “시대착오적”임을 스스로 인정한다. 갈루아에게 군은 언제나 방정식 근의 치환군이었지, 도형의 대칭군이 아니었다.

반론 — 이것이 갈루아의 증명인가

경쟁 가설은 여럿이다. 베티의 충분조건은 논문이 유도한 필요조건과 놀랄 만큼 닮았지만, 충분조건은 존재를 보장할 뿐 불가능을 말해 주지 않는다. 1971년 콘웨이는 갈루아의 분할을 전치들의 곱, 예컨대 p=5에서 (∞0)(1 4)(2 3)으로 읽고, 그러한 대합이 PSL(2,p) 아래에서 정확히 p개의 켤레를 가진다는 것을 보여 이런 대합들의 집합을 부분군 대신 쓰는 길을 열었다. 1995년 코스탄트는 정이십면체의 꼭짓점을 11원소 체 위의 사영직선과 동일시하고 여섯 쌍의 분할을 주면 그 안정화 부분군이 PSL(2,5)가 된다고 언급했지만, 구체적인 동일시를 제시하지도, 그것이 갈루아의 마지막 편지에 있다는 사실을 언급하지도 않았다.

가장 강한 반론은 역사 쪽에서 온다. 이 재구성은 사료가 아니라 빈칸을 메운 추론이다. 갈루아의 원고에는 PSL(2,p)에 관한 설명이 거의 없고, ‘제2 논문’의 원고는 미완성이라 논의 지점에 도달하지도 못한다. 게다가 1830년 4월의 짧은 예고문에서 갈루아는 p>5에서도 그런 환원이 불가능하다고 잘못 적었고, 편지의 “엄밀히 말해”는 그 오류를 조용히 정정하는 표현으로 읽힌다. 그렇다면 1830년의 그가 이미 증명을 갖고 있었다면 왜 틀린 진술을 인쇄했을까. 논문은 이 물음에 답하지 않는다.

논문이 인정한 한계, 그리고 남는 질문

저자가 스스로 밝히는 한계는 분명하다. 재구성은 “추측”이고, 단순성 정리에 대해서는 “단서가 없다”고 말하며, 앙리 푸앵카레 연구소가 소장한 원고에는 분수선형변환의 합성을 직접 계산한 흔적이 거의 없다고 적는다. 다시 말해 이 논문이 증명한 것은 정리이지, 갈루아가 그 정리를 증명했다는 사실이 아니다. 두 명제는 다르고, 후자는 여전히 열려 있다.

그래도 남는 것은 흥미로운 그림이다. 지수 p 부분군의 존재라는, 언뜻 표현론처럼 보이는 문제가 결국 체 위의 제곱 개수를 세는 문제로 환원되고, 그 세기의 한계가 정확히 세 개의 정다면체에서 멈춘다. 20세기의 분류정리가 필요했던 정리가 19세기의 손 계산으로 닿는 거리 안에 있었다는 뜻이다. 독자에게 묻고 싶다. 우리가 ‘너무 어려워서 그 시대에는 불가능했다’고 전제하는 결과들 중에, 실은 그 시대의 도구로 이미 닿아 있었던 것이 얼마나 더 있을까.

참고 자료

Péter P. Pálfy, “Galois’s lost proof on PSL(2,p)”, arXiv:2611.06054 (math.GR, 2026년 11월 4일). https://arxiv.org/abs/2611.06054v1

논문이 인용한 주요 문헌: E. Betti (1853), C. Hermite (1859), C. Jordan, Traité des substitutions (1870), J. Gierster, Math. Ann. 18 (1881), L. E. Dickson (1901), J. H. Conway, “Three lectures on exceptional groups” (1971), B. Kostant, Notices of the AMS 42 (1995), P. M. Neumann, The Mathematical Writings of Évariste Galois (EMS, 2011).