[수학철학] 수학을 수학이게 하는 것은 무엇인가

2. 수학을 수학이게 하는 것은 무엇인가?

-이언해킹(Ian hacking, 『Why is there philosophy of mathematics at all』,Cambridge University Press, 2014-

 

김충한(수유너머N 회원)

 

1. 수학 철학에 대해 알아야 하는 이유

[Why is there philosophy of mathematics at all]([도대체 왜 수학 철학이란 것이 있는가?]) 은 이언 해킹이 2010년부터 세계 각지의 대학에서 초청 강연을 하며 작성한 원고를 기초로 한다. 단편적인 강의원고들을 책으로 냈다 해서 짜임새가 부족할 거라고 생각할 필요는 없다. 왜냐하면 매우 분명한 이분법적인 논리로 진행되기 때문이다. 구성은 7장으로 구성되어 있다. 1~3장은 수학과 수학철학에 대한 개괄이다. 3장에서 수학에 대한 상이한 입장 에 따라 범주를 나누는데 고대/근대, 증명/응용, 플라톤주의/반플라톤주의 가 그것들이다. 4장부터 이 구분에 맞춰 전개되며 그래서 4장의 제목은 증명. 5장은 응용. 6장. 플라톤의 이름으로, 7장. 반 플라톤주의 이렇게 짜임이 이루어진다. 고대는 증명, 플라톤주의, 순수수학으로 연결되고 근대는 응용, 반플라톤주의, 응용수학과 짝 지어진다고 생각하면 된다.이런 기본적인 골격위에 해킹은 특유의 간결하고 일상적인 언어로 수학 철학에 대한 자신의 입장을 전개한다.

일단 본격적인 내용을 소개하기에 앞서, 수학 철학을 왜 알아야 하는가? 이 사이트에 들어오시는 분들은 대부분 철학은 좋지만 수학에는 별로 관심이 없을 것 같은데 그것에 대한 철학까지 알아야 할 이유가 있을까? 있다. 첫 번째 이유는 잘 알려진 철학자들이 수학에 대해 너도나도 한 마디씩 했다는 것이다. 플라톤, 아리스토텔레스, 데카르트, 라이프니츠, 칸트, 밀, 러셀, 비트겐슈타인, 하이데거 등. 서양 철학의 굵직한 사상가들은 수학에 대해 다 한 마디씩 했다. 아니 한 마디 하는데 그치지 않고 자신의 철학적 기반을 수학 위에 얹어 진행한 사람들도 있다. 왜 그랬을까? 학문 중에 가장 확실하다고 생각했던 게 수학이었나 보다. 1+1=2를 보라. 얼마나 확실한가. 그러므로 ‘어떻게 수학은 그토록 확실한지’를 생각해보는 건 너무나 자연스러운 물음일 것 같다. 이런 물음에 도달했다면 이미 수학철학의 영역에 발을 들여놓은 셈이다. 

두 번째 이유는 지금의 상황과 관련이 있다. 2007년 시작된 서브프라이 모기지 사태를 기억하는가? 파생상품이라는 이상한 걸 만들어서 세계 경제가 휘청였을 때 많은 사람들이 도대체 파생상품이 뭔지를 알고 싶어 했다. 하지만 아무리 신문기사를 읽고 또 읽어도, 커다란 논리는 이해가지만 구체적인 세부 사항으로 들어가면 꼭 등장하는 수학 공식 때문에 그것을 제대로 이해하는 건 불가능에 가까웠다.

[파생상품 설계의 기초가 된다는 Black-Scholes equation]

‘까짓 거 복잡하고 알고 싶지 않은데 신경 끄고 살지 뭐’라고 넘기기엔 그것은 지금 우리의 삶에 너무나 큰 '실질적인' 영향을 미친다. 어떻게 수학은 종이위에 머물지 않고 우리가 사는 현실에도 영향력을 행사하는가? 이런 질문도 역시 수학 철학과 관련된 전통적 문제이다. 

수학 철학은 보통 철학과에 가면 전공 분야로 존재한다. 하지만 대부분은 논리주의, 직관주의, 형식주의라는 사조에 대해 배우고, 논리주의에서 파생한 논리실증주의 흐름을 따라가는 매우 아카데믹한 분과인 듯하다. 그런데 이언 해킹의 이 책은 그런 전통적인 수학 철학을 다시 반복하기 보다는, 앞서 우리가 떠올린 그런 질문들처럼, 누구나 수학에 대해 한번쯤 궁금해 하는 물음에 대해 철학자들은 어떤 대답을 하려고 했는지를 자기 나름의 방식대로 정리한다.

 

2. 구분. 고대: 수학은 어떻게 그토록 확실한가?- 플라톤, 증명, 순수수학, 수학자들.

책 내용으로 들어가 보자. 큰 구분은 고대와 근대이다. 수학에 대한 고대적 입장은 단연 플라톤주의이다. 수학은 왜 그렇게 확실한가? 바로 수학이 이미 세계에 있기 때문이다. 인간이 머릿속에서 만들어 낸 것이 아니라 '이미' 있던 것을 발견한 것 뿐이라는 것이다. 피타고라스 정리가 확실한 이유는 그것을 만들어 낸 피타고라스가 너무 똑똑해서가 아니라 이미 세상에 그것이 존재해왔기 때문이다. 그래서 한국의 수학자건 남아프리카의 수학자건 서로 아무 교류 없이도 똑같은 증명법을 발견해낼 수 있다. 혹은 수학의 하위분야인 대수학에서 풀리지 않던 문제가 전혀 다른 분야인 기하학에서 고안된 개념을 통해 풀리는 경우도 있다. 이것이 어떻게 가능한가? 이미 그런 개념들이 연결된 채로 세상에 있었기 때문에 가능하다. 수학자는 그저 그것을 '발견'할 뿐이다.

사실 이런 생각은 철학자들이 보기에는 조금 유치해보일 수 있다. 2000년도 더 된 낡은 생각을 설마 지금도 하겠어? 그러나 놀랍게도 지금도 한다. 그것도 모자라 대다수의 현직 수학자들은 플라톤주의자다. 가령 1982년 필즈상을 수상한 프랑스 수학자 알랭 콘(1947~)이 대표적인데 이 사람은 자신이 기여한 이론을 처음 발견(?)했을 때 너무나 감격스러워 눈물까지 흘렸다고 한다. 

[알랭 콘과 뇌과학자 장 피에르 상제의 대화를 책으로 낸 책. 현직 수학자들이 얼마나 플라톤주의에 가까운지 이 책을 보면 잘 알 수 있다. 이에 대해 뇌과학자인 상제는 수학은 그저 당신 뇌의 물리-화학반응일 뿐이라고 공격한다.  ]

이쪽 입장을 좀 변호해주자면 이런 근거를 댈 수 있을 것 같다. 가령 프랙털 이란 말을 들어본 적이 있을 것이다. 브누아 망델브로트가 발견(?) 한 이 개념은 일부 작은 조각이 전체와 비슷한 기하학적 형태를 말한다. 그런데 문제는 이 프랙털을 시각화 하는 데는 너무나 많은 계산이 필요해서 컴퓨터 없이는 불가능하다는 것이었다. 1980년 미국 IBM 연구소에서 일했던 망델브로트는 컴퓨터에 쉽게 접근할 수 있었고 그것을 통해 그려낸 것이 아래의 그림이다. 

오늘날에는 프랙털 식을 컴퓨터에 입력하면 좀 더 화려한 그림들을 얻을 수 있다. 가령 

  

세부를 확대하면 전체 구조와 같은 구조가 반복되는 이 복잡한 문양은 계산량이 너무나 많아서 컴퓨터 없이는는 시각화 할 수 없다. 프랙털의 일종인 망델브로트 집합 같은 것은 망델브로트가 고안해 낸 것이 아니다. 어떻게 자신이 표상할 수도 없는 개념을 발명해 낼 수 있단 말인가. 그것은 이미 세계에 있다고 봐야 한다. 수학자는 발견해 낼 뿐이다. 이런 논리다. 

우주에 조화와 비율이 있다고 믿었던 피타고라스와 크게 다르지 않은 이런 입장은 수학을 인간으로부터 독립적인 존재로 본다. 그래서 만약 외계인이 있고 그들이 생각을 할 수 있다면, 인간과 비슷한 수학을 가지고 있을거라고 생각한다.(물론 개념들에 붙인 이름은 다를 수 있겠지만)

이들은 또한 마치 번데기가 성숙해서 나비가 되듯, 수학은 고대부터 지금까지 필연적인 단계를 거쳐 성숙해지고 있다고 생각한다. 가령 허수(imaginary number)가 4차방정식을 풀다보니 만들어 질 수밖에 없었던 것처럼, 수학에 있어 새로운 수나 개념의 등장은 필연적인 이유가 있다. 외계인들도 4차방정식을 풀기 위해선 허수라는 개념을 떠올리지 않을 수 없었을 것이다. 

 

3. 구분. 근대: 수학은 어떻게 물리적 세계와 영향을 주고받는가?: 칸트, 응용, 철학자들

물론 수학자들이야 수학이 실제로 세상에 존재한다고 믿으면 좀 더 보람차게 연구할 수 있다. 또 직접 수학을 하는 만큼 무언가를 증명해 냈을 때 그 경험이 너무나 강렬해서 수학이 실제로 존재한다고 생각할 수 있다. 하지만 그 외의 사람들에겐 그것이 해묵은 플라톤주의와 크게 다르지 않게 들릴 수 있다. 특히 철학자들에게는 더더욱.

철학자들은 수학의 확실성에 대해 과감하게 수학적 존재를 가정하기보다는, 칸트 식으로 분석명제니, 종합명제니 하는 식으로 개념화시킨다. 또 수학자들이 주로 증명에 매달리는 것과 달리 철학자들은 수학이 어떻게 자연 현상과 결합하는가에 주로 관심이 있다. 서두에 언급한 것처럼 종이위에 끄적인 공식이 종이를 벗어나 현실 세계에서 영향력을 발휘한다는게 놀랍지 않은가. 

칸트는 순수이성비판에서 5+7=12 라는 유명한 예시를 들어 이런 것이 가능한 이유를 수학이 선험적이면서 종합명제임을 통해 주장한다. 더 나아가 현상과 무관한 수학을 순수 수학(pure mathematics)으로, 현상과 뒤섞인(mixed) 수학을 응용 수학(applied mathematics)으로 구분한다. 이 구분은 지금도 여전히 유효하게 지속되고 있다. 대학교 수학과 홈페이지에 가서 교수들 세부 전공에 applied mathematics라고 쓰여 있으면 응용수학자고 이런 말없이 알아들을 수 없는 말이 나열되어 있으면 순수 수학을 한다고 보면 얼추 맞을 거다.

순수 수학은 가령 이런 거다. 5+7=12. 이 식이 맞는지 증명하는 것은 순수 수학이다(대상 혹은 현상과 무관한). 그런데 사과 5개와 배 7개를 더하면 모두 12개다. 라는 건 일종의 응용 수학에 해당한다. 왜냐하면 사과, 배라는 현실세계에 존재하는 대상과 관련된 것이기 때문이다. 경제학에 등장하는 수학, 물리학에 등장하는 수학은 모두 응용수학이다. 왜? 사회현상, 자연현상과 관련되어 있기 때문이다. 또 다른 예로, 소수(prime number)중에 4n+1의 형태를 가진 수는 모두 두 수의 제곱의 합으로 표현된다는 명제가 있다. 가령 29를 예로 들어 보자.

신기하게도 29는 이렇게 5의 제곱과 2의 제곱으로 쓸 수 있다. 29뿐만이 아니라 4n+1의 형태로 쓸 수 있는 모든 소수는 이렇게 나타낼 수 있다. 이런 걸 수학적으로 증명하는 것이 순수 수학의 예라 할 수 있다. 다시 말해  척 보기에 아주 쓸데없는 짓을 하는 것 같으면 순수수학이라고 보면 된다. 쓸모 있어 보이는 것은 주로 응용 수학에서 다룬다.

수학이 그저 확실성뿐만 아니라 현실에 강한 영향을 끼친다면 우리는 당연히 응용수학에 대해 생각하지 않을 수 없다. 그런데 이쯤되면 또 다른 의문이 피어오른다. 응용수학도 수학이라고 할 수 있나? 그것은 그저 순수수학을 현상에 ‘적용‘시킨 것은 아닌가? 5+7=12 인 것을 그저 사과5개, 배7개에 적용한 것에 불과하지 않은가? 수학이론의 실천정도라고 봐야하지, 수학의 정수라고 부를 수 있는 건 결국 순수수학이 아닌가? 

 

4. 응용들(Applications)

책의 5장 Applications(응용들)는 수학의 응용들, 즉 응용 수학에 대해 앞에서 언급한 질문들을 다룬다. 이 장이야말로 책 전반에 걸쳐 해킹의 수학 철학에 대한 입장을 가장 잘 보여준다고 할 수 있다. 근대적 진리관인 재현으로서의 진리는, 순수 수학과 응용 수학의 구분에서도 유지된다. 5+7=12 라는 식을 순수 수학자가 증명해내면, 응용 수학자는 여기에 대응되는 현상을 찾아 적용시킨다. 사과 5개, 배 7개가 있으면 이제 그것들을 일일이 세어보지 않고 12개임을 알 수 있다. 이를 거시적으로 풀어보면 순수 수학이 이론을 만들어 내고 응용 수학자는 이 이론을 현상에 적용하는 일을 한다고 바꿔 말할 수 있다. 그러니 당연히 진짜 수학은 순수 수학에 있다고 볼 수 밖에. 해킹이 문제제기하는 것은 이 지점이다. 정말 응용은 이미 만들어진 이론을 현상에 적용시키는 일만 하는가? 현상과 맞대고 작업하는 중에 거꾸로 이론이 뒤바뀌는 일은 없는가? 그렇다면 진짜 수학은 순수 수학이라는 생각은 일종의 착각이 아닌가?

해킹의 전작 [표상하기 개입하기]를 읽어본 사람이라면 해킹의 이런 시도가 그리 낯설게 느껴지진 않을게다. 토마스 쿤에서 시작된 과학철학 1세대들이 주로 이론 물리학을 과학의 모범으로 전제한다면, 이언 해킹을 비롯한 과학철학 2세대들은 실험 물리학과 응용 물리학으로 관심의 초점을 전환시킨다. 과학의 확실성은 이론의 완결성 같은 데 있는 게 아니라(표상하기) 우리가 직접 실험을 설계할 수 있고, 뭔가를 조작해서 원하는 결과를 얻을 수 있을 때(개입하기) 얻어진다는 것이 그의 지론이다.

이런 그의 지론을 참고해서 다시 책으로 돌아오자. 응용분야가 거꾸로 순수수학 분야에 영향을 주는 사례는 없을까? 있다. 그가 제시하는 예는 Rigidity(강직성) 이론이다. Rigidity 이론은 건축설계 시, 무게를 지탱하는 구조물들이 힘을 받았을 때 휘지 않을 수 있는 구조를 연구하는 수학의 분야다. 쉽게 말해서

위의 사각형은 힘을 주면 평행사변형으로 휘어진다. 하지만 아래의 삼각형은 어떻게 힘을 줘도 삼각형 모양이 유지된다. 즉, 어떤 기하학적 형상을 갖춰야 힘을 받아도 휘지 않는가를 연구한다고 보면 된다.

이러한 안정적인 구조물의 기하학적 특성에 대해선 1860년 저명한 물리학자였던 맥스웰이 제시했다. n개의 점과 3n-6개의 선들로 구성된 도형은 안정적이다. 가령 삼각형은 3개의 점과 3*3-6=3, 3개의 선으로 이루어진 도형이다. 그래서 안정적이다. 문제는 그 역은 참이 아니라는 것이다. 안정적인 도형은 모두 n개의 점과 3n-6개의 선들로 구성된 것‘만‘ 있는 건 아니다. 예외적인 것들이 존재하는데, 이것들을 찾아내는 것은 당시 수학자들에게는 별 관심의 대상이 아니었다. 외려 공학자들과 건축가들에게 흥미로운 문제로 여겨졌는데 이 시기에 미국의 Buckminster Fuller(1895~1983)은 이른바 Geodesic dome 이란 도형을 발견(?)해낸다. 

 

Fuller와 Geodesic dome 모형.

위의 있는 형태는 n개의 점과 3n-6개의 선들로 구성되어 있지 않았음에도 강한 힘을 받아도 휘지 않는다. 건축가였던 Fuller는 이를 더 발전시켜 Tensegrity이론을 만드는데, tensegrity는 tension과 integrity를 합친 말이다. tensegrity는 건축물의 요소들을 직접적으로 연결하지 않으면서 견고한 형태를 유지할 수 있는 원리다. 예를 들어,

 

이렇게 쇠파이프와 이를 연결하는 철사들로 '안정적인 구조'를 구축할 수 있다. 이를 응용한 대표적 건축물이 호주 브리즈번의 Kurilpa Bridge 이다.

Kurilpa Bridge

이런 것들을 Tensegrity 원리를 이용했다고 부르는데 이 tensegrity는 현재 수학의 하위 분야로 들어와 연구되고 있다. 수학의 어떤 분야일까? 응용수학? 순수수학? 놀랍게도 순수수학이다. 수학적 배경과 무관한 건축가가 고안한 개념이 거꾸로 수학으로 들어와 이론을 만들어낸 것이다. 순수수학=>이론, 응용수학=>적용 이란 도식으로 설명할 수 없는 이 사례를 들어 해킹은 수학의 발전은 ‘순수’한 것을 고집하는데서 일어나는 것이 아니라 다른 이질적인 것과의 뒤섞임, 상호작용을 통해 일어난다고 주장한다.

 

“..we should think of the constant interplay of different genres of inquiry in scientific acitivity. The examples presented in 24-34 illustrate the ways in which these styles fruitfully interact” p.190

 

(물론 이 사례만 제시하는 건 아니다. 또 다른 사례는 유체역학의 연구와 관련된 사례다. 지면상 생략하니 궁금하면 책을 읽어보시라.)

 

5. 수학을 수학이게 하는 것은 무엇인가?

 

위의 그림을 본 적이 있는가? 사회학은 그저 응용심리학이지, 심리학은 그저 응용 생물학이지, 생물학은 그저 응용화학이지, 화학은 그저 응용물리학이지, 물리학은? 그저 응용수학이지.그리고 가장 오른쪽에는 순수수학이 있다.

위 도식은 우리가 이론과 적용에 대해 가지고 있는 가장 평범한 생각을 반영한다. 모든 현상에 대한 설명은 현상과 무관한 추상적 사유로부터 시작되어 그것의 적용으로서 이해된다. 허나 실제 역사적 과정을 근거로 이런 상식에 거리를 두게 해준다는 점에서 [Why is there philosophy of mathematics at all] 는 가치가 있다. 비트겐슈타인의 말을 빌리면 “그 실의 힘은 어떤 하나의 실 가닥이 이 실 전체 길이만큼 길다는 사실 때문이 아니라 많은 실 가닥들이 서로 겹쳐 있기 때문”이다. 수학의 힘은 그것이 순수하게 단일한 이론으로 수학의 내적 논리에 의해 발전해왔기 때문이 아니라, 수많은 ‘응용’과 뒤섞이고 수학의 외부에 있던 것들과의 접촉을 통해 획득된 것이다. 그리고 그런 ‘응용‘들이 수학에 들어오면서, 그것들은 수학에 의해 재영토화 되지만 동시에 기존에 수학이라고 불리던 것들의 모습 또한 다른 모습으로 변이시킨다. 그렇다면, 수학을 수학이게 하는 것은 결국 수학의 외부로부터 온다고 우리는 말할 수 있지 않을까?