1 더하기 1은 왜 2일까요? 이 질문에 "당연하지 않나요?"라고 답하셨다면, 사실 저도 그랬습니다. 그런데 수학자들이 이 당연한 사실 하나를 증명하는 데 100페이지 넘는 기호를 동원했다는 이야기를 처음 접했을 때, 솔직히 이건 예상 밖이었습니다. 수천 년 동안 쌓아온 수학이라는 건물이 알고 보면 균열 위에 서 있었다는 이야기, 지금부터 풀어봅니다.
수학은 암기 과목이 아니었다: 공리와 경쟁의 사이에서
저는 학창 시절 수학을 싫어했다기보다 지쳐 있었다는 표현이 더 맞을 것 같습니다. 빠르게 풀지 못하면 뒤처진다는 압박 속에서, 왜 그렇게 되는지 이해하기도 전에 다음 단원으로 넘어가는 일이 반복됐습니다. 수학의 정석 앞 10페이지가 새까매지다가 결국 헌책방에 납품되는 경험, 저만 한 건 아닐 겁니다.
수학을 싫어하는 사람이 많다고 하지만, 따지고 보면 수학 자체를 싫어하는 경우는 드물다고 생각하는 분들도 있습니다. 저는 그 의견에 꽤 동의하는 편입니다. 5천 년 된 인류의 지적 유산을 싫어할 이유는 없는데, 경쟁과 점수라는 틀 안에서 주입받다 보니 혐오가 생긴 것이지요. 실제로 성인이 되어 수학을 다시 접했을 때, 공식을 외우는 것이 아니라 왜 그런 결론이 나오는지를 따라가 보니 전혀 다른 감각이 느껴졌습니다.
그 핵심에는 공리(axiom)라는 개념이 있습니다. 공리란 증명 없이 참이라고 받아들이는 가장 기초적인 명제를 뜻합니다. 쉽게 말해 수학 전체를 받치는 가장 밑바닥 벽돌입니다. 기원전 3세기의 유클리드는 단 다섯 개의 공리만으로 당시에 알려진 모든 기하학 지식을 증명해냈고, 그 결과물인 원론은 2,000년이 넘도록 교재로 쓰였습니다. 저는 이 이야기를 듣고 처음으로 수학과 산수가 다른 것임을 실감했습니다. 산수는 계산이고, 수학은 그 계산이 왜 성립하는지를 묻는 사고의 언어였습니다.
19세기 말, 수학자 칸토어(Cantor)는 무한집합론을 제시하며 이 안정적인 세계에 균열을 냅니다. 무한집합론이란 무한을 하나의 덩어리로 보지 않고, 크기를 비교할 수 있는 수학적 대상으로 다루는 이론입니다. 자연수 전체의 집합과 짝수 전체의 집합은 원소의 개수가 같다는 주장, 1m 선분과 2m 선분에 들어 있는 점의 개수가 같다는 주장이 나온 것도 이 때입니다. 직관적으로는 말이 안 되지만, 1대1 대응을 기준으로 삼으면 논리적으로 성립합니다. 당시 수학계에서는 이 이론이 격렬한 비난을 받았고, 칸토어는 결국 말년에 정신병원에 입원하기까지 했습니다.
모순과 폭발: 수학 체계가 흔들리기 시작한 순간
20세기 초, 독일의 수학자 힐베르트(Hilbert)는 세계 수학자 대회에서 수학이 나아가야 할 방향으로 23개의 문제를 제안했습니다. 그 두 번째 문제가 바로 이것이었습니다. 우리가 쌓아온 수학 체계 안에 모순은 없는가?
모순(contradiction)이란 같은 공리 체계 안에서 어떤 명제와 그 명제의 부정이 동시에 증명되는 상황을 말합니다. 예를 들어 "나는 너를 사랑한다"와 "나는 너를 사랑하지 않는다"가 같은 체계 안에서 동시에 도출된다면, 그 체계는 쓸모없어집니다. 수학에서는 이것을 폭발의 원칙(principle of explosion)이라고 부릅니다. 폭발의 원칙이란 모순이 하나라도 있으면 그 체계 안에서는 어떤 명제든 참으로 증명할 수 있다는 논리 법칙입니다. 선생님이 문제를 잘못 출제하면 모든 학생에게 100점을 주는 것과 정확히 같은 상황이지요.
이 위기를 정면으로 다룬 인물이 철학자이자 수학자인 러셀(Russell)입니다. 러셀은 동료 화이트헤드와 함께 1,000페이지가 넘는 방대한 저작을 써내며 수학을 보다 엄밀한 공리 위에 올려놓으려 시도했습니다. 1 더하기 1이 2라는 사실을 증명하는 데만 약 100페이지가 필요했습니다. 1이 무엇인지, 더하기가 무엇인지, 같다는 것이 무엇인지부터 기호로 정의해야 했기 때문입니다. 이처럼 기호만을 신뢰하는 수학적 태도를 형식주의(formalism)라고 합니다. 형식주의란 직관이나 의미가 아니라 기호와 규칙의 조합만으로 수학을 구성하려는 입장입니다.
제가 직접 이 흐름을 따라가 보니, 수학을 둘러싼 당시의 논쟁은 크게 두 갈래였습니다.
- 직관주의(intuitionism): 수학은 인간의 직관에 기반해야 하며, 직관적으로 납득되지 않는 것은 수학이 아니라는 입장
- 형식주의(formalism): 수학에서 중요한 것은 엄밀한 기호와 증명이며, 직관과 무관하게 형식이 맞으면 사실로 인정해야 한다는 입장
이 논쟁이 단순한 학파 갈등처럼 보이지만, 실제로는 수학의 존재 이유 자체에 대한 질문이었습니다. 러셀의 시도는 결국 목표를 완전히 달성하지 못했고, 결정적인 반격은 예상치 못한 방향에서 날아왔습니다.
괴델에서 튜링으로: 불완전성이 열어준 새로운 세계
1931년, 수학자 쿠르트 괴델(Kurt Gödel)은 불완전성 정리(incompleteness theorems)를 발표합니다. 불완전성 정리란 충분히 복잡한 수학 체계에는 반드시 참이지만 그 체계 안에서는 증명할 수 없는 명제가 존재하며, 그 체계의 무모순성 역시 체계 내부에서 증명할 수 없다는 것을 수학적으로 밝힌 정리입니다. 말하자면 "우리의 수학 체계에는 구멍이 영원히 있을 수밖에 없다"는 사실을 엄밀하게 증명해버린 것입니다.
괴델이 사용한 핵심 도구는 거짓말쟁이 역설(liar paradox)을 수학 언어로 번역한 것이었습니다. "나는 지금 거짓말을 하고 있다"는 문장은 참이라고 가정해도, 거짓이라고 가정해도 모순이 생깁니다. 괴델은 이 구조를 기호 논리학으로 정밀하게 재현하여, 형식주의자들이 쌓아온 방법론으로 그 한계를 직접 증명해냈습니다. 제 경험상 이런 종류의 자기 지시적 논리가 처음에는 머리를 멍하게 만드는데, 찬찬히 따라가다 보면 오히려 수학의 깊이가 느껴지는 순간이 옵니다.
이 발견의 파장은 단순히 수학 내부에 그치지 않았습니다. 영국의 수학자 앨런 튜링(Alan Turing)은 괴델의 대각 논법(diagonal argument)에서 영감을 받아 계산 가능성 이론을 정립하고, 컴퓨터가 무엇인지를 수학적으로 정의했습니다. 대각 논법이란 어떤 집합이 자기 자신을 열거할 수 없음을 보이는 논증 기법으로, 칸토어가 무한집합의 크기를 비교할 때 처음 사용했고 괴델을 거쳐 튜링에게 이어진 핵심 아이디어입니다. 튜링은 이를 바탕으로 컴퓨터가 해결할 수 있는 문제와 절대 해결할 수 없는 문제의 경계를 명확히 그어냈습니다(출처: Alan Turing Institute).
수학의 불완전성을 발견한 사람이 결국 현대 컴퓨팅의 이론적 토대를 마련했다는 사실은 꽤 인상적입니다. 위기에서 새로운 길이 열린 것이지요. 수학계에서 괴델의 업적을 두고 폰 노이만이 "우주 아주 먼 곳에서도 보일 만한 랜드마크"라고 표현한 것도 무리가 아닙니다. 수학의 불완전성은 결함이 아니라, 수학이 아직 살아있다는 증거였습니다.
괴델 불완전성 정리를 통해 수학계가 다시 한번 확인한 핵심 포인트는 다음과 같습니다.
- 어떤 수학 체계도 그 내부에서 자신의 완전성을 증명할 수 없다
- 증명 불가능한 참인 명제는 반드시 존재한다
- 이 한계는 기술의 문제가 아니라 논리 구조 자체의 필연적 결과다
수학사 연구자들에 따르면 괴델의 불완전성 정리는 20세기 논리학과 철학, 컴퓨터과학 전반에 걸쳐 가장 광범위한 영향을 미친 발견 중 하나로 평가됩니다(출처: Stanford Encyclopedia of Philosophy).
저는 이 이야기를 접하고 나서 학창 시절 수학을 포기했던 감각을 다시 떠올렸습니다. 그때의 저는 완벽한 답을 빠르게 내야 한다는 압박에 짓눌려 있었는데, 알고 보면 수학 자체도 완벽하지 않다는 사실을 그때 알았더라면 조금 달랐을지 모릅니다. 완벽한 체계는 없고, 구멍을 인정하면서 앞으로 나아가는 것이 수학의 진짜 모습이었습니다.
수학을 멀리한 지 오래된 분이라면, 지금 당장 문제를 풀려고 하기보다 1 더하기 1이 왜 2인지를 한번 의심해보는 것부터 시작해보시길 권합니다. 그 의심이 쌓이다 보면, 어느 순간 수학이 경쟁이 아니라 사고의 언어로 느껴지는 순간이 올 것입니다. 저도 그랬습니다.
참고: [취미는 과학/ 확장판] 14화 수학, 1+1은 정말 2인가? (feat. 김상현 교수) :
https://www.youtube.com/watch?v=Qpi5Q6VgssI&list=PLkKcqR2KGxgzqeKZo1Rx93kJFokuVkpye&index=74