수학 시간에 원기둥 부피를 구하는 공식을 외우면서도 "부피가 정확히 뭔지"는 한 번도 물어본 적이 없었습니다. 저도 그랬습니다. 그런데 수학자들이 2천 년 넘게 써온 부피 계산법에 근본적인 균열이 생겼고, 그 끝에서 나온 결론이 충격적이었습니다. 콩 하나를 쪼개 태양 크기로 만들 수 있다는 바나흐-타르스키 역설, 그리고 그 배경에 있는 선택공리 논쟁까지 실제로 따라가 보니 수학이 얼마나 근본적인 질문을 품고 있는 학문인지 새삼 느꼈습니다.
부피의 정의, 왜 수학자들은 2천 년 만에 다시 물었나
학교 다닐 때 저는 적분을 배우면서 "이상하게 생긴 도형도 잘게 쪼개서 더하면 부피가 나온다"는 것을 공식처럼 받아들였습니다. 솔직히 이건 예상 밖이었습니다만, 이 방식이 사실 기원전 아르키메데스부터 내려온 아이디어라는 걸 알고 나서는 그 당연함이 오히려 의심스러워졌습니다.
아르키메데스는 원뿔 같은 도형을 아주 얇은 원기둥으로 잘게 나눠 각각의 부피를 더해 전체를 구했습니다. 오늘날의 적분(積分, integral)과 정확히 같은 발상입니다. 적분이란 무한히 잘게 나눈 조각들을 합산해 전체량을 구하는 수학적 방법론으로, 뉴턴과 라이프니츠가 17세기에 체계화했고 리만이 19세기에 엄밀하게 다듬었습니다. 약 2천 년 동안 이 방식으로 웬만한 도형의 부피는 다 구해왔습니다.
그런데 19세기 말, 르베그(Lebesgue)라는 수학자가 "초심으로 돌아가자"고 선언합니다. 르베그 측도론(Lebesgue measure theory)이란 부피·넓이·길이 같은 '크기'를 엄밀하게 공리로부터 정의하려는 이론 체계입니다. 그가 제시한 출발점은 단순했습니다. 아무것도 없으면 부피는 0, 한 변이 1인 정육면체의 부피는 1, 그리고 어떤 물체를 쪼갠 뒤 각 부분의 부피를 더하면 전체 부피가 나온다는 것입니다. 누가 봐도 합리적인 출발점이었습니다.
그런데 바로 이 세 번째 조건에서 문제가 터졌습니다. 비탈리(Vitali)라는 수학자가 1 × 1 × 1 정육면체를 아주 특이한 방식으로 무한히 나눴더니, 각 조각의 부피가 0이어도 다 더하면 0이 되고 조각에 부피가 있다면 합이 1을 넘어버리는 모순이 생겼습니다. 결국 르베그 측도론으로는 "어떻게 자르건 항상 부피가 정의된다"는 보장이 없다는 것이 밝혀진 것입니다.
제가 품질관리 업무를 할 때도 비슷한 상황을 겪었습니다. 측정 기준을 명확하게 정하지 않으면 같은 제품인데도 결과가 달라지는 일이 생겼습니다. 기준이 탄탄해야 결과도 신뢰할 수 있다는 걸 그때 배웠는데, 수학자들이 부피의 정의 자체를 다시 세우려 했던 이유가 바로 그것이었습니다.
- 아르키메데스: 잘게 쪼개 더하는 방식으로 부피 계산 최초 체계화
- 르베그: 19세기 말~20세기 초, 공리에서 출발해 부피를 엄밀하게 재정의 시도
- 비탈리: 특수한 집합을 구성해 르베그 방식의 한계를 수학적으로 증명
바나흐-타르스키 역설, 콩으로 태양을 만드는 수학적 논리
처음 이 내용을 접했을 때 저는 솔직히 "이건 그냥 말장난 아닌가"라고 생각했습니다. 그런데 실제 논리를 따라가 보니 말장난이 아니었습니다. 물리적으로는 불가능하지만, 수학적 집합의 언어 안에서는 완벽하게 성립하는 이야기였습니다.
바나흐-타르스키 역설(Banach-Tarski paradox)이란 1924년 수학자 스테판 바나흐(Stefan Banach)와 알프레트 타르스키(Alfred Tarski)가 증명한 결과로, 3차원 공 하나를 유한 개의 조각으로 나눠 회전과 평행이동만으로 재조립하면 원래와 동일한 크기의 공 두 개를 만들 수 있다는 내용입니다. 여기서 "조각"이란 우리가 칼로 자른 덩어리가 아니라, 특정 규칙으로 묶인 점들의 집합(set)을 의미합니다. 쉽게 말해 먼지 구름처럼 공간에 흩어져 있지만 수학적으로 하나의 단위로 묶인 점들의 모임입니다.
핵심 아이디어는 "무한은 자기 자신을 자기 안에 포함할 수 있다"는 성질입니다. 무한히 긴 직선을 세 토막 내고 가운데를 버려도 나머지 두 토막을 붙이면 원래 직선이 그대로 나오는 것처럼, 구(球) 표면의 점들을 네 발 달린 나무(4-regular tree) 구조로 대응시키면 같은 일이 가능해집니다. 네 발 달린 나무란 각 꼭짓점에서 네 방향으로 가지가 뻗어나가는 무한 그래프 구조를 말합니다. 동·서·남·북팀으로 나눈 점들의 집합 중 일부를 버리고 나머지를 회전시켜 붙이면 원래와 구별할 수 없는 구 표면이 두 개 나옵니다.
일반적으로 "유한 개로 쪼갠 뒤 붙이면 부피가 보존된다"고 알려져 있지만, 제가 이 논리를 따라가 보니 그 상식이 성립하려면 "조각 하나하나에 부피가 정의되어야 한다"는 전제가 필요합니다. 바나흐-타르스키 역설의 조각들은 바로 그 부피 자체가 정의되지 않는 집합이기 때문에 질량 보존의 법칙과 충돌하지 않습니다. 물리학이 아닌 순수 집합론의 세계에서만 성립하는 이야기입니다(출처: American Mathematical Society).
선택공리 논쟁, 수학자들이 아직도 선택을 갈등하는 이유
바나흐-타르스키 역설의 증명을 꼼꼼히 뜯어보면 한 곳에서 은근슬쩍 넘어가는 부분이 있습니다. 셀 수 없이 많은 점들의 그룹에서 "대표를 하나씩 뽑는" 장면입니다. 제가 처음엔 "그냥 하나씩 고르면 되는 거 아닌가"라고 생각했는데, 수학에서는 "아무거나 골라"라는 명령이 성립하지 않습니다.
선택공리(Axiom of Choice, AC)란 무한히 많은 집합들이 있을 때, 각 집합에서 원소를 하나씩 동시에 선택할 수 있다는 것을 공리로 인정하는 수학적 가정입니다. 쉽게 말해 "어떤 무한한 선택도 가능하다"고 전제하고 시작하는 것입니다. 러셀(Bertrand Russell)이 들었던 비유처럼, 양말 수천 켤레에서 한 짝씩 꺼내려 할 때 "왼쪽 것을 가져와라"는 구체적 규칙이 없으면 집사(컴퓨터)는 움직일 수 없습니다. 그 "규칙 없는 선택"을 허용하는 것이 선택공리입니다.
20세기 수학사에서 선택공리를 둘러싼 논쟁은 수학의 본질을 흔든 사건이었습니다. 크로네커, 브라우어 같은 수학자들은 선택공리를 사용한 증명은 인정할 수 없다고 했고, 힐베르트는 자유롭게 써야 한다고 맞섰습니다. 그러다 괴델(Kurt Gödel)이 "기존 수학에 모순이 없다면, 선택공리를 추가해도 모순이 생기지 않는다"는 것을 증명했습니다. 이어 폴 코헨(Paul Cohen)이 "선택공리를 부정해도 역시 모순이 생기지 않는다"는 것을 보였습니다. 결국 선택공리는 받아들일 수도, 거부할 수도 있는 독립적인 명제임이 밝혀진 것입니다(출처: Stanford Encyclopedia of Philosophy).
일반적으로 현대 수학의 절대다수는 선택공리를 채택하는 쪽으로 알려져 있지만, 제 경험상 이 논쟁이 단순히 "찬반"으로 끝나지 않는 데는 이유가 있습니다. 최근 수학계에서는 모든 수학 정리를 컴퓨터가 검증할 수 있는 형식으로 옮기는 형식화(formalization) 작업이 활발합니다. 여기서 선택공리가 사용된 증명은 컴퓨터가 구체적으로 처리할 수 없는 브랜치로 분류됩니다. AI와 수학이 결합하는 시대에 선택공리 없이 도달할 수 있는 증명이 다시 주목받고 있는 것입니다.
- 선택공리 찬성 (주류): 힐베르트 계열, 현대 수학의 대다수. 강력한 결과를 이끌어낼 수 있음
- 선택공리 반대 (비주류): 브라우어 계열, 구체적으로 구성 가능한 것만 수학으로 인정
- 현재 트렌드: 형식화·AI 검증 시대에 선택공리 미사용 증명의 가치가 재조명
자주 묻는 질문
Q. 바나흐-타르스키 역설이 사실이라면 실제로 물체를 두 배로 복제할 수 있나요?
A. 물리적으로는 불가능합니다. 일반적으로 "쪼개서 두 배로 만든다"고 알려져 있지만, 실제로 이 역설의 조각들은 원자나 분자 수준이 아니라 수학적 '점(點)'의 집합이기 때문입니다. 현실에서 물질은 원자로 이루어져 있고 질량 보존의 법칙이 적용되므로, 이 역설은 순수 집합론 안에서만 성립합니다.
Q. 선택공리(AC)가 없으면 수학이 어떻게 달라지나요?
A. 선택공리를 부정하면 바나흐-타르스키 역설 같은 결과가 성립하지 않고, 오히려 모든 집합에 부피(측도)를 부여하는 것이 가능해집니다. 다만 선택공리 없이는 증명하기 어려운 정리들도 많아 연구 범위가 상당히 좁아집니다. 어느 쪽이 "맞다"는 것이 아니라 서로 다른 공리 체계에서 서로 다른 수학이 만들어지는 구조입니다.
Q. 학교에서 배우는 부피 공식(원기둥, 구 등)은 잘못된 건가요?
A. 전혀 그렇지 않습니다. 일상에서 다루는 도형들은 르베그 측도론에서도 부피가 잘 정의되는 "안전한" 집합에 해당합니다. 문제가 생기는 것은 비탈리 집합처럼 매우 특수한 방식으로 구성된 집합에서만입니다. 수학 교과서의 부피 공식은 여전히 유효하고 실용적입니다.
Q. 르베그 측도론과 리만 적분은 어떻게 다른가요?
A. 리만 적분(Riemann integral)은 함수를 가로 방향으로 잘게 나눠 더하는 방식이고, 르베그 적분(Lebesgue integral)은 함수값을 기준으로 세로 방향으로 묶어 더하는 방식입니다. 르베그 방식이 훨씬 일반적이어서 리만 적분으로 계산할 수 없는 함수도 처리할 수 있습니다. 현대 수학과 확률론의 기초는 대부분 르베그 측도론 위에 세워져 있습니다.
결론
이 이야기를 처음부터 끝까지 따라가 보면서 가장 인상적이었던 것은 수학이 "답을 찾는 학문"이기 이전에 "질문을 정확하게 만드는 학문"이라는 점이었습니다. 부피란 무엇인가라는 질문 하나가 아르키메데스부터 르베그, 바나흐-타르스키, 괴델, 코헨까지 이어지는 긴 대화를 만들어냈습니다.
제가 직접 느낀 것은 이 사고방식이 수학 바깥에서도 유효하다는 것입니다. 당연하다고 생각하는 기준이 흔들릴 때 그걸 무너뜨리려는 게 아니라, 더 단단하게 다시 세우려는 태도가 결국 더 넓은 길을 열었습니다. 바나흐-타르스키 역설을 접한 것을 계기로 위상수학이나 집합론에 조금 더 발을 들여볼 마음이 생겼다면, 고등학교 수학 교과서의 집합 단원부터 다시 보는 것도 꽤 좋은 출발점이 될 것 같습니다.
참고: 프로 의심러 수학자들, 2000년 동안 믿어온 부피에 대해 의심하다! (feat. 김상현 교수) [취미는 과학/81화 확장판https://www.youtube.com/watch?v=5RdsN4XeOyU&list=PLkKcqR2KGxgzqeKZo1Rx93kJFokuVkpye&index=11