SF 커뮤니티 사이트에서, 예전부터 중국어방 논리의 도그마에, 강한인공지능론의 프로그램의 마음을 얘기하는 사람들이 깨갱하는 경우가 많더라구요. 그래서 그 사이트에 올린 글입니다.

뭐 프로그램이 마음을 갖을 수 있는지는 모르겠고, 단지 중국어방논증으로 강한인공지능의 불가능이 증명되었다. 라는 주장만 반박되기를 바랬습니다.

(1)

제 처음 댓글에서도 썼지만, 결국 동어반복적인 싸움이 될 뿐입니다.

"마음은 의미를 이해하는 것을 말하고, 아무리 정교한 계산이라고 할지라도 의미를 이해하지 못하기 때문에 그것은 마음이 아니다."

(위에서 말한 syntax & semantic, simulation & duplication 전제)

라고 일단 전제를 걸어 버립니다.

"그래서 이해한다는게 도데체 뭔데?"

라는 말에 대해서 뭔가 정확한 정의를 내리지 않습니다.  한참 듣다 보면, "이해하는 것" == "인간 혹은 뭔가 유기체가 하는것.", "계산(simulate) 하는 것" == "기계가 하는것"으로 돌아갑니다.  결국 "이해하는 것" == "유기체가 하는 것" == "기계는 못하는것"을 일단 전제하고 논증을 펼치고 있는 것 입니다. 동어 반복일 뿐입니다.

(2) 

튜링은 그래서 아예 이런 테스트를 고안했습니다. 

"그래? 니가 그걸 정의 못하겠다면, 아예 칸막이를 사이에 두고 글로 대화를 하자. 니가 이쪽에서 뭐라고 하면, 저쪽에서 뭐라고 대답을 할께. 그래서 만약 니가 상대방이 기계인지 아닌지 구별을 못할 정도라면, 그건 지능(intelligence)이 있다고 하자, 오케?"

튜링 테스트에 따르면, 저 중국어 방 시험을 거쳐서, 중국어로 질문을 한 사람(들)이 대답한게 중국어 방인지, 중국인 현자인지 구별을 할 수 없다면, 저 중국어 방 시스템은 지능(intelligence)가 있다고 봐야 합니다.

(3) 이건 보충 자료입니다. 

그리고 중국어로 질문한 사람들이 구별을 못할 정도가 되려면, 단순히 종이쪽지에 적힌 단순한 룰 몇 개 가지고는 절대 안될겁니다. 주어진 기술에 따른 중국어 방의 계산 능력은 수학적으로 한계가 있거든요. (이런 시스템을 finite state machine이라고 합니다. 이것만 가지고는 인공지능은 커녕 계산기도 못 만듭니다.)  

지금 있는 컴퓨터 비슷한 거라도 만들려면, 

(1) 적어도 메모리가 있어야 합니다. 즉 중국어 방에 들어가 있는 사람이 단순히 룰대로 방의 데이터를 읽기만 하는데 아니라, 특정 룰에 따라 방에 있는 데이터를 변경할 수 있어야 합니다. 

(2) 다음으로 룰 그 자체가 변경이 가능해야 합니다. 즉 룰이 써있는 종이쪽지가 안변하는게 아니라, 그 이전에 들어왔던 입력에 의해서 룰이 써있는 종이쪽지의 내용을 변경할 수 있어야 합니다.

즉 적어도 memory  + self-modifying이 가능해야 지능 비슷한 거라도 만들 수 있습니다. (이런 기계를 튜링 기계 Turing Machine이라고 합니다. 이런 기계로 수학적으로 가능한 모든 알고리즘의 수행 (즉 '계산')은 가능하다는게 거의 사실로 굳어져있습니다.)  그런데 우리 인간의 두뇌를 이루는 뉴런들은 이 두 개가 가능하지요. 그러니 지능을 가진 중국어 방도 이 적어도 두 가지는 해야 합니다. 그렇담self-modify만 있으면, 거기에 초기 데이터와 초기 프로그램만 있으면 지능이 생길 수 있는가? 잘 모릅니다. 

(4) 궁극적으로 

지능 = 특정 상태의 (자기 교정이 가능한) 연산 규칙 방법 + 정보의 특정한 저장 상태 

인가 아니면 그 이상인가를 놓고 싸우고 있을 뿐입니다.   

제가 보기엔 회의론자들은 "인간은 영혼이 있고, 기계는 없으므로 기계가 아무리 정교해 져도 인간이 못됨." 단지, 이 말을 하고 싶을 뿐인것 같습니다. 

getabeam 님:

제 처음 댓글에서도 썼지만, 결국 동어반복적인 싸움이 될 뿐입니다.
 

qualia 답변:

결코 동어반복적인 싸움이 아니라고 생각합니다. 존 설의 중국어방 논증은 철학적 논증이지만 1980년 발표 뒤로 알게 모르게 인지과학 전반의 발전에 많이 기여했습니다. 인공지능의 발전 방향에도 직간접으로 영향을 미쳤다고 할 수 있습니다.

존 설이 부정하는 것은 강인공지능식의 기계 의식(machine consciousness) 만들기 기획이지 기계 의식의 가능성 그 자체를 부정하는 것은 결코 아닙니다. 설은 외계인 의식, 로봇 의식, 다른 미지의 의식 등등 모든 의식의 가능성을 열어두고 있습니다.

“이해(understanding)”, “지능(intelligence, 지적 능력 ≒ 기존 지식을 활용해 전혀 몰랐던 새 사실 따위를 알아내는 능력)” 등등은 기본적으로 의식적 작용의 한 측면에 해당합니다. 그러므로 이해의 정의나 지능의 정의는 기본적으로 의식의 정의에 수렴될 수 있습니다. 따라서 이해가 뭐냐고 묻는다면 의식의 본질적 측면을 살펴봐야 합니다. 대체적으로 학자들 간에 통용되는 의식의 3대 본질적 특성은 ① 인과력(causal power; causal efficacy) ② 일인칭 시점/관점의 사밀성(privacy) ③ 감각질(qualia) 등이라고 할 수 있습니다.

이러한 의식의 본질을 놓고 본다면, 중국어방식의 인공지능 컴퓨터는 물론이고 튜링 검사(Turing Test)를 완벽히 통과한 지능적 로봇까지도 의식을 지녔다고/지닐 수 있으리라고 결론내릴 수 없습니다. 즉 다른 식의 접근 혹은 연구 방법론이 필수적이라는 것입니다. 존 설의 중국어방 논증의 핵심 요지는 바로 이것이라고 할 수 있습니다. 따라서 동어반복은 중국어방을 오독/오해석한 반대 진영에서 하고 있다고 볼 수 있습니다.

getabeam 님:

튜링 테스트에 따르면, 저 중국어 방 시험을 거쳐서, 중국어로 질문을 한 사람(들)이 대답한게 중국어 방인지, 중국인 현자인지 구별을 할 수 없다면, 저 중국어 방 시스템은 지능(intelligence)가 있다고 봐야 합니다.

qualia 답변:
위에서 거론했듯이, 지능의 소유 여부 문제는 결국 의식의 문제로 수렴됩니다. 위에서 거론한 (최소한의) 의식의 3대 본질을 갖춰야만 진정한 지능을 지녔다고 볼 수 있습니다. 설의 요지는 바로 이것입니다. 즉 이런 의식의 본질적 특징을 갖추지 못했다면 튜링 검사(Turing Test)를 아무리 완벽하게 통과해도 의식적 존재/기계/로봇/컴퓨터라고 할 수 없다는 것입니다. 다시 말하면 튜링 검사로는 의식의 소유 여부를 판별할 수 없다는 것입니다.

getabeam 님:
제가 보기엔 회의론자들은 "인간은 영혼이 있고, 기계는 없으므로 기계가 아무리 정교해 져도 인간이 못됨." 단지, 이 말을 하고 싶을 뿐인것 같습니다.

qualia 답변:
존 설은 의식(과 영혼은 약간 다른 개념임)에 관한 한 회의론자가 절대 아닙니다. 존 설은 의식이 뇌와 같은 생물학적 기계의 신경 기제 작용으로 생겨난 것으로서, 실제 세계를 구성하는 하나의 실재(a real part of the real world)라고 주장합니다. 또한 물리/물질적 근본 기제에서 생겨났으므로 의식을 비롯한 심적 속성들은 근본적으로 물리적/물질적 속성의 한 종이라고 주장합니다. 그러나 의식은 (인과적으로는 환원이 되지만) 존재론적으로는 환원되지 않는 고유성을 지녔다고 합니다. 즉 위에서 말한 의식의 기본 특징들을 지녔다는 것이죠. 

존 설은 인간의 뇌와 같이 의식이 생겨나게 할 수 있는 어떤 다른 기제(mechanism)가 있을 수 있다는 가능성을 절대 부정하지 않습니다. 그런데 많은 논자들이 존 설의 중국어방 논증을 잘못 이해해 존 설이 인공지능의 모든 기획이 불가능하다고 논증한 것으로 오해하고 있습니다. 존 설은 이러한 오해/오독에 관해 거듭해서 직접 비판했습니다.


■ 참고 자료

http://en.wikipedia.org/wiki/John_Searle 

http://en.wikipedia.org/wiki/Biological_Naturalism 

http://www.scholarpedia.org/article/Chinese_room_argument 

뱀머리>

1) 혹시 알라딘에서, 심리철학이나 뇌과학관련 책에 자주의견 올리시는 qualia 분이랑 동일한 분이신가요? “마음철학”이라는 용어를 사용하는 점과, 글의 구성 서체같은게 비슷해서 그럽니다.

2)저는 퀄리아님의 댓글이 중국어방을 지지한다고 말한다기보단, 중국어방 지지자들에게 부족하게 느껴질 수 있는 부분을 짚어주신다고 생각합니다. 보완한다는 의미로 댓글 씁니다.

몸통>

우주적 요정 - 중요한점은 존설도 “인과력”이 생기고 사라지는 경계를 혼동하고 있다.

“설의 입장에서 약점은 진짜 의미가, 또는 진짜(당신)이 체계의 어디에서 사라지는지를 명확히 밝히지 않고 있다는 것이다.” - 호프스태터

유추가 다르다? “생물학실체에 수행하는 것”과 “형식절차모사를 수행하는 것”은 다르다. 가 핵심이겠지요? 여기서 동일한 유추가 아니라는 주장과 복제와 모사와 차이 등등이 나오는 것 같습니다.

중국여성도 다양한 스펙트럼의 버전을 가진 일반화된 사고실험의 한 버전입니다.

스펙트럼에서, “특정한 구분지점”(존설의 경우 탄소기반생물학과정의 실체)을 기준으로 앞과 뒤의 버전은 다르다고 주장할 수 있습니다.

그렇지만 그 특정한 구분지점을 확대해서, 경계를 무너뜨리는 사고실험은 얼마든지 가능합니다. 극단적으로 소립자 수준을 가정할 수도 있습니다. 소립자를 프로그램모델링 하는 것도 괜찮지만, 이 경우 어차피 실체가 아니라 “모사”일뿐이라고 하기 때문에. 방향을 바꿉니다.

이번에는 중국여성의 두뇌를 우주적으로 확대해서, 뉴런을 이루는 입자들이 스스로 상호작용하기 어려운 거리에 있습니다. 이때 소립자를 결합시키고, 분해시키는 모든 물리적힘을 수행하는 우주적존재의 힘을 가진 요정 이 물리법칙대로 소립자들의 상호작용을 실행시킵니다. 이 수준에서는 “생물학적 과정의 기능복제”가 아니라, “물리학적 과정에서의 기능복제”입니다. 이렇게 되어버리면, 특정한 구분지점은 물리적 실체의 존재여부에 있다고 해야합니까?

본문에 인공뉴런으로 대체하는 사고실험도 생물학적 실체에 대한 반박이 될 수 있겠습니다.

결국 모든 버전의 사고실험의 주인공은 “관점과 이해여부” 라고 생각합니다.

관점과 이해여부

올려주신 존설의 “논리적 논증”과, “사고실험 속 논증”을 구분해야 한다고 생각합니다. 사고실험 내의 문제를 말해야합니다. 주장을 설득하는 방법은 많으니까요. 중국어방 말고도 감각질,직접지의 문제도 있지 않습니까?

사고실험은 “시나리오 무대”이고, 본문의 논증은, 사고실험에서 독자들을 설득하는 “연극적 장치”입니다. 그 장치는 “독자들을 관점 이입시켜 이해 결여를 느끼도록하는 것”이고 여기서부터 마음과 프로그램, 의미와 형식의 차이를 설득력있게 주장하는 것 같습니다.

그래서 관점과 이해여부가 핵심이고 소재,스케일,복잡성은 부차적인 문제가 되버린 것입니다. 사실 복잡성이 부차적인게 되버린게 “시나리오 무대”의 문제점인 것 같습니다.

“연극적 장치”의 문제는

1. 하나의 관점만을 전제하기.

2. 수행자의 관점이 프로그램의 “주관적 관점”을 대변할 수 있다는 것.

입니다.

특히 근거도 없는 2번이 핵심입니다. 단지 형식절차“계산”을 보여주는 것 이상도 아니기 때문입니다. 중국어방을 힘들게 차리지 않아도, 계산이란 바로 이런 것이다!!! 라고 보여주려면, 주판알을 튕기는 것만으로도 가능하지 않습니까?

애초에 2번을 어떻게 받아들일 수 있겠습니까?

제2원리: 모사와 복제는 문제 - 마음의 존재론적 기반에 대한 인식차이

(용어들을 철학적으로 엄밀하게 정의된 개념으로 사용하지 못하는 것은 저의 소양부족입니다.)

주관적 경험은 둘째로 치고,

커즈와일같은 사람은, 마음은 일종의 “패턴”으로서 존재한다고 인식하는 것 같습니다.

탄소기반의 물질로 이루어진 “물리적 실체”에 기반을 두는 인식과 다릅니다.

“패턴”은 기계구조 말고도, 생물구조로서의 패턴도 있을 수 있습니다. 뉴런이 자극을 받고 내보내는 생물학적 과정을 패턴으로 생각한다는 것입니다. 그리고 그 패턴은 프로그램모델링 할 수 있습니다.

커즈와일 같은 입장의 경우에는 패턴의 모사는 사실상 패턴의 복사입니다.

왜냐하면, 애초의 패턴을 복사하는 것은 모사하는 방법으로서 이루어지기 때문입니다.

모사할 때, 사용하는 물리적 실체가 무엇인지는 상관없구요.

뱀다리>

헷갈려

근데 이쪽까지 오면 저는 헷갈리기 시작합니다. 중국어방은 잘못된 사고실험일지라도

계산은 마음을 가질 수 있는가? 우주는 계산적인가? 여부는 모르기 때문입니다.

우리 두뇌의 계산적 부분이 매우매우 많다는 것은 확실하지만요.

아 여기부터는 전문적이라서 포기하려고 합니다. 똑똑하신 학자분들이 알아서 해주시겠지만, 그분들이 말하는 것은 어려워서...

커즈와일같은 사람은, 마음은 일종의 “패턴”으로서 존재한다고 인식하는 것 같습니다.

탄소기반의 물질로 이루어진 “물리적 실체”에 기반을 두는 인식과 다릅니다.

즉 Daft Kid 님은 위와 같은 커즈와일의 “패턴” 개념으로 존 설의 논증을 일부 논박하겠다는 것인데요. 제가 getabeam 님한테 제시한 답변에서 이미 말했듯이 존 설은 마음/의식의 인공적 실현(realization, implementation) 가능성을 열어두고 있습니다. 결코 불가능하다고 하지 않습니다. 마음/의식이 탄소 기반의 물리적 실체에서만 가능하다고 하지도 않습니다. 요컨대 Daft Kid 님뿐만 아니라 커즈와일 또한 존 설의 중국어방 논증과 의식 개념 그리고 생물학적 자연주의(biological naturalism)를 잘못 이해하고 있다는 것입니다.

제가 Daft Kid 님의 위 댓글에 대해 제시할 수 있는 반론들 중 많은 부분이 getabeam 님한테 제시한 답변들과 상당 부분 겹칩니다. 그래서 죄송한 말씀입니다만 Daft Kid 님께서 그 답변들도 참고해주시면 고맙겠습니다.

생물학자들의 이런 노력을 뭐랄까요....

"컴퓨터 CPU를 분해해서 전자의 움직임을 관찰해서 트랜지스터의 동작 원리를 알아내면, 데스크톱 컴퓨터에서 돌고있는 바둑 프로그램의 동작원리를 알 수 있을 거다"

뭐 이런 느낌이라고 할까요?

당연하게 인간의 생각은 하드웨어 에 해당하는 뉴런과 신경세포들과 소프트웨어(데이터)에 해당하는 뉴런들의 연결 상태 및 신경 전달 호르몬 및 전기신호로 이루어져 있겠지요. 뉴런들의 연결이 계속 변한다는 사실 자체가 self-modifying program을 수행중이라는 뜻일꺼고요. 

트랜지스터 -> 아날로그 전기 회로 -> 디지털 로직 -> 컴퓨터 아키텍쳐 -> OS 프로그램 -> 어플리케이션 바둑 프로그램

에 비교하면 

인간의 뉴런 -> ...... ?   -> 인간의 생각

인간의 마음 (생각, intelligence)는 분명 (최소한) 어떤 정보 처리 시스템입니다. 그러므로 분명 저 중간에 몇 단계가 있을 텐데, low-level에서 생물학적 기작 mechanism을 관찰하는 것 만으로는 그 정체를 알아내기가 요원하지 않을까 합니다.  (뭐 안하는 거 보다는 낫겠지만)

생물학자들 중에서 "컴퓨터 CPU를 분해해서 전자의 움직임을 관찰해서 트랜지스터의 동작 원리를 알아내면, 데스크톱 컴퓨터에서 돌고있는 바둑 프로그램의 동작원리를 알 수 있을 거다"라는 식으로 생각하는 사람은 없을꺼예요. 그 사람들이 바보도 아니고요. 생물학자들이 하는건 트랜지스트가 고장이 난것들이 있는데 내부 구조를 들여다보면 왜 고장이 나 있는지 알 수 있다는것까지라고 생각하는게 맞을듯 해요.

개별 뉴런 추적과 그 해상도 향상은 시냅스 이론 검증에 있어 상당히 중요한 정보들을 제공할 수 있다고 알고 있는데(결국 저건 시냅스 네트워크를 연구하기 위한 실험이겠지요), 저 연구를 굳이 비유하자면 개별 트랜지스터보다는 전체 회로망과 알고리즘 형성 방식에 대한 연구라고 해야 하지 않을까 싶습니다. 생각하시는 것보다는 의미가 훨씬 크지 않을지...

뇌에서 개별뉴런을 추적해서 정보를 추정하는건 아직 요원한 일일듯 싶어요. 저런 작업들이 결국에는 신경세포들의 패턴이 특정 현상과 어떤 종류의 상관관계를 가지고 있는지 분석하고, 특정 방향으로 변화시키는게 가능한지 알아보는데 중요한 툴로서 역할을 할 것으로 보이네요. 살아있는 생명체에도 되면 완전히 투명인간을 만드는건데... 그건 안될듯 싶어요.

지금이야 어렵긴 하지만 계속 해상도가 올라가고 있긴 하니... 인간에게 자아나 영혼이 있다면 그게 시냅스라는 말도 있을 지경이니 아마 다들 극한까지 가려고 하겠죠.

나중에야 어떻게 될 지 알 수 없죠. 그리고 해상도로만 따지면이야, single molecule 실험도 있고 super resolution microscopy 같은 경우에는 형광현미경이지만 분해능이 10nm 조금 넘는것도 분리해 낼 정도로 뛰어나기도 하죠. 그런데, 이런식으로 실험을 하면 결국에는 통계적인 방법을 동원해서 데이타를 처리할 수 밖에 없게되는듯 싶어요. 뇌라고 특별히 다를것 같지는 않은.