무한집합의 ‘작은 것들’을 세는 두 가지 방식은 왜 끝내 갈라지는가 — 22년 묵은 질문에 반례를 들고 나온 arXiv 2611.03432

2004년, 학술지 Transactions of the American Mathematical Society 356권 6호에 실린 한 편의 논문은 마지막에 짧은 질문 하나를 남겼다. 자연수의 부분집합을 ‘작은 것’과 ‘큰 것’으로 나누는 규칙, 즉 이데알(ideal) 가운데 F_σδ 라는 이름의 층에 속하는 것은 모두 ‘Farah 이데알’이라는 더 구체적인 방식으로도 표현할 수 있는가. 2026년 11월 2일 arXiv에 올라온 아담 크벨라(Adam Kwela)의 논문 「On Farah ideals and beyond」(arXiv:2611.03432)는 이 질문에 “아니다”라고 답한다. 22년 만에 돌아온 대답은 ‘아마 그럴 것’이라는 자연스러운 기대를 정면으로 뒤집는다.

이 글은 그 반례가 무엇을 뒤집는지, 그리고 왜 하필 ‘무한집합의 서열’이라는 주제에서 이런 분리가 일어나는지를 따라간다. 수식은 최소한으로만 쓰고, 대신 논문이 실제로 증명한 것과 증명하지 않은 것을 구분해서 적는다.

작은 집합의 목록, 이데알

자연수 전체의 집합 ω를 생각하자. 이데알 I는 ω의 부분집합들 가운데 ‘무시해도 되는 것’들의 목록이다. 두 조건만 요구한다. 작은 집합의 부분집합도 작아야 하고(유전성), 작은 집합 두 개를 합쳐도 여전히 작아야 한다(유한 합에 닫힘). 유한집합 전체는 가장 대표적인 이데알이고, 밀도 0인 집합들의 모임도 그렇다. ‘작다’는 판정 기준을 하나 고정해 두면, 무한집합에 관한 거의 모든 질문이 이 목록 위에서 다시 쓰인다.

여기서 흥미로운 것은 이데알이 단순한 분류표가 아니라 서열을 만든다는 점이다. 카테토프 순서(Katětov order)라고 부르는 이 서열에서 I ≤ J란, 자연수를 자연수로 옮기는 함수 하나로 J의 작은 집합들을 전부 I의 작은 집합으로 끌어올 수 있다는 뜻이다. 두 이데알이 이 순서에서 서로 비교되지 않으면, 어느 쪽도 다른 쪽의 거친 근사가 아니다. 논문의 두 번째 결과가 바로 이 서열에 관한 것이다.

Farah의 정의: 무한히 많은 문을 겹쳐 놓기

논문이 인용하는 Farah의 정의는 이렇다. 이데알 I가 Farah라는 것은, 각 n마다 ω의 부분집합 전체 위에서 유전적이고 닫힌 집합 C_n이 있어서, A가 I에 속하는 것과 ‘모든 n에 대해, 어떤 k가 있어 A에서 k보다 작은 원소들을 잘라낸 나머지가 C_n에 들어가는 것’이 동치인 경우다. 조건을 풀어 읽으면 이렇다. 각 단계 n마다 ‘이 정도면 충분히 작다’는 허용 구역 C_n이 있고, 집합 A는 유한한 꼬리를 잘라내기만 하면 그 구역에 들어간다. 그리고 그런 단계가 무한히 많이 겹쳐 있다.

F_σδ 이데알은 보렐 위계의 서로 다른 층에서 정의된다. 열린 집합과 닫힌 집합에서 출발해 가산 합집합(F_σ)과 가산 교집합을 반복해 올라가는 사다리에서, F_σδ는 ‘가산 번의 합집합을 다시 가산 번 교집합한’ 자리다. 두 정의 모두 가산하게 겹쳐 쌓는 작업을 한다. 그래서 “겹쳐 쌓는 방식이 이렇게 비슷한데, 표현력도 비슷하지 않겠는가”라는 기대가 생긴다. Farah의 2004년 질문이 정확히 그 기대를 물었다.

칸토어 집합을 일곱 번 반복해 만든 모습. 위에서 아래로 갈수록 구간을 계속 쪼개 없애는 과정이 보인다. F_σδ 이데알도 이렇게 가산 단계를 겹쳐 정의된다 — 127, Public domain (Wikimedia Commons)

반전: 두 층은 같은 층이 아니다

크벨라의 답은 ‘모든 F_σδ 이데알이 Farah 이데알’이라는 명제가 거짓이라는 것이다. 그리고 반례를 하나만 들지 않는다. 논문은 tall한 반례와 non-tall한 반례를 각각 제시한다. tall 이데알이란 ω의 모든 무한 부분집합이 다시 그 이데알에 속하는 무한 부분집합을 품는 경우다. 즉 ‘작다고 부르는 것들’이 무한집합 세계 곳곳에 촘촘히 박혀 있다. non-tall은 반대로, 어떤 무한집합 하나가 있어서 그 무한 부분집합 어느 것도 작지 않은 경우다.

이 두 반례가 중요한 이유는, 반례가 한 종류뿐이라면 “그건 tallness라는 성질 때문에 생긴 우연”이라고 축소할 수 있기 때문이다. 저자는 성질이 정반대인 두 세계에서 같은 분리를 보여줌으로써, F_σδ와 Farah가 단지 정의가 다른 것이 아니라 표현력 자체가 다르다는 것을 못 박는다. 달리 말하면 ‘겹쳐 쌓기’라는 겉모습이 같아도, 겹쳐 쌓는 대상이 무엇이냐가 결과를 바꾼다.

연속체 길이의 반사슬이라는 반직관

논문의 두 번째 주장은 더 세다. F_σδ이면서 Farah가 아닌 이데알들 가운데, 카테토프 순서에서 길이가 연속체(continuum)인 반사슬이 존재한다는 것이다. 반사슬이란 서로 비교 불가능한 원소들의 모임이다. 즉 실수 전체와 같은 크기의 이데알들을 늘어놓았을 때, 그 중 어느 둘을 골라도 한쪽이 다른 쪽보다 ‘더 작은 규칙’이라고 말할 수 없다.

이 결과가 왜 반직관적인가. 서로 비교 불가능한 대상이 많이 나온다는 것은 보통 분류가 안 된다는 나쁜 소식으로 읽힌다. 그런데 여기서는 반대다. 이데알들을 ‘얼마나 작은 집합을 허용하는가’라는 한 축 위에 줄 세우려는 시도가 원리적으로 실패한다는 것을, 그것도 F_σδ라는 좁은 층 안에서 보여준다. 정의 가능성의 사다리를 한 칸 올라가면 분류가 정리될 것 같지만, 실제로는 그 층 안에 이미 연속체만큼의 뒤엉킨 구조가 들어 있다.

무한 이진 나무와 그 가지들이 만드는 칸토어 집합. 자연수의 부분집합을 0과 1의 무한 수열로 부호화하면, ‘작은 집합’을 고르는 일은 이 나무의 가지를 고르는 일이 된다 — Jacksonwalters, CC0 (Wikimedia Commons)

경쟁 가설: 정의만 다를 뿐 같은 것 아닌가

가장 자연스러운 반론은 이것이다. “Farah 이데알은 F_σδ의 한 표현 방식일 뿐이고, 두 개념은 결국 같은 것을 다른 언어로 부른 것 아닌가.” 이 반론에는 근거가 있다. 실제로 낮은 층에서는 두 개념이 자주 겹친다. 논문이 인용하는 선행 연구에서도 극한점 집합에 관한 정리는 오랫동안 Farah 이데알인 경우에만 증명되어 있었다. 즉 지금까지 손에 잡힌 모든 사례에서는 두 개념이 함께 움직였다.

논문은 이 반론을 반례의 존재 자체로 무너뜨린다. 다만 반론이 완전히 죽는 것은 아니다. 두 개념이 ‘언제나’ 같은 것은 아니라는 사실이 밝혀졌을 뿐, 어느 조건 아래에서 같아지는지는 별도의 질문으로 남는다. 논문이 답한 것은 Farah의 원래 질문 하나이고, 두 층 사이의 경계가 정확히 어디를 지나는지는 후속 작업의 몫이다.

두 번째 문제: 극한점 집합은 왜 F_σ인가

논문은 부수적으로 인접한 문제도 처리한다. 비가산 폴란드 공간 X(실수 전체처럼, 가산 조밀 부분집합을 가진 완비 거리 공간)와 그 안의 수열 x가 주어졌을 때, 이데알 I에 대한 극한점 집합 Λ_x(I)를 생각할 수 있다. 이는 ‘I가 작다고 부르지 않는 집합 A 위에서 수열 x를 따라가면 p로 수렴하는’ 그런 점 p들의 모임, 즉 I를 무시하고 봤을 때 수열이 실제로 몰리는 지점들이다.

논문의 정리는 이렇다. I가 G_δσδ 이데알이면, Λ_x(I)는 언제나 F_σ 집합이다. 앞서 말한 ‘낮은 층에서는 잘 맞는다’는 직관이 여기서도 통한다는 뜻이고, 동시에 이전에 알려져 있던 결과가 Farah 이데알이라는 좁은 조건에서만 성립했던 것을 훨씬 넓은 층으로 확장한 것이다. 논문은 이 결과가 2022년 Topology and its Applications 312권의 질문과 Journal of Symbolic Logic의 2026년 논문 질문에 (부분적으로) 답한다고 밝힌다.

논문이 스스로 인정하는 한계

논문이 명시한 범위는 좁다. 극한점 결과는 G_δσδ 이데알에 대해 참이지만, 더 위층의 이데알까지 확장되는지는 이 논문이 답하지 않는다. 또한 2022년 논문의 질문에는 ‘부분적으로’ 답한다고 스스로 규정한다. 남은 부분이 무엇인지는 논문의 서술 범위 안에서만 확인할 수 있고, 이 글은 그 이상을 추정하지 않는다.

저자는 또 하나의 한계를 암묵적으로 드러낸다. 반사슬의 존재는 보여주지만, 그 반사슬이 어떤 구조적 의미를 갖는지, 혹은 F_σδ가 아닌 층에서도 같은 현상이 반복되는지는 다루지 않는다. ‘반례가 있다’와 ‘그 반례들이 어떤 지도를 그리는가’는 다른 문제이고, 이 논문은 전자에 충실하다.

독자에게: 어디까지가 ‘같은 것’인가

이 논문이 남기는 장면은 결국 하나다. 22년 동안 아무도 반례를 찾지 못했고, 그 부재가 “아마 참일 것”이라는 암묵의 신뢰를 만들었다. 크벨라는 그 신뢰를 tall과 non-tall 두 방향에서 동시에 깨고, 그 위에 연속체 크기의 반사슬을 얹는다. 수학에서 ‘증명되지 않았지만 모두가 참이라고 믿는 명제’가 얼마나 오래 버틸 수 있는지를 보여주는 사례다.

그렇다면 질문을 독자에게 넘긴다. 여러분이 어떤 대상을 ‘작은 것’과 ‘큰 것’으로 나누는 규칙을 만든다면, 그 규칙이 두 가지 서로 다른 방식으로 정의될 때 언제까지 같은 규칙이라고 불러야 할까. 두 정의가 낮은 층에서 늘 일치한다는 사실은, 두 정의가 같다는 증거일까, 아니면 우리가 아직 반례를 못 찾았을 뿐이라는 신호일까.

참고 자료

Adam Kwela, 「On Farah ideals and beyond」, arXiv:2611.03432 (2026-11-02 제출, math.LO). 원문: https://arxiv.org/abs/2611.03432v1

이 글에서 정의를 설명한 Farah의 원래 질문은 논문이 인용한 Trans. Amer. Math. Soc. 356 (2004), no. 6에 실려 있다. 카테토프 순서, tall 이데알, F_σδ·G_δσδ 위계의 표준 정의는 논문 본문의 표기를 따랐다.