possible minds

“ 첫 번째 모임에서 가장 먼저 확인한 것은 오늘날 인공지능을 둘러싼 더 넓은 문화권의 흥분과 공포가 노버트 위너의 ‘사이버네틱스’ 개념이 당시 문화 속으로 파고들어 자신만의 방법으로 움직이던 상황과 유사해졌다는 사실이었다. ”

“ 1970년대 초에 디지털 시대가 도래하면서 위너는 잠시 잊혔지만, 현재 위너의 사이버네틱스 개념은 광범위하게 적용되어 이제는 특별히 따로 명명할 필요조차 없을 정도로 모든 것에 스며들었다. 사이버네틱스는 어디에나 존재하며 심지어 공기 중에도 존재한다. ”

“ 오늘날 사이버네틱스에 관한 이야기를 들을 수 없는 데는 두 가지 이유가 있다. 첫째, <인간의 인간적 활용>은 당시에 중요한 책으로 생각되었지만, 존 폰 노이만이나 클로드 섀넌 같은 많은 동료의 염원인 신기술의 산업화에 반대 입장을 취했다. 둘째, 컴퓨터의 개척자인 존 맥카시는 위너를 싫어해서 ‘사이버네틱스’라는 용어를 거부했다. 결국 매카시는 ’인공지능’이라는 용어를 만들었고 해당 분야의 창시자가 되었다. ”

“ 위너가 제시한 중요한 통찰은 세계를 정보라는 측면에서 이해해야 한다는 것이다. 생물, 뇌, 인간 사회 같은 복잡계는 하부 체계에서 신호가 교환되는 피드백들이 뒤얽혀 복잡다단하지만 그럼에도 안정적인 행동을 보인다. 피드백이 망가지면 시스템은 불안정해진다. 위너는 복잡한 생물 시스템이 어떻게 움직이는지 설득력있는 하나의 그림을 완성했으며, 이는 지금까지도 널리 수용된다. ”

“ 1950년대에 존 폰 노이만은 위너와 대화하다가 일부 영감을 얻어 ‘기술적 특이점’이라는 개념을 도입했다. 기술은 기하급수적으로 향상되는 경향이 있는데, 일정 시간 동안 성능이나 감도 측면에서 곱절로 향상하기도 한다(1950년 이후 컴퓨터 기술은 2년마다 성능이 두 배씩 향상되었으며, 이 현상은 ‘무어의 법칙’으로 명명되었다). 폰 노이만은 자신이 관찰한 기술 향상의 기하급수적 속도를 근거로 “기술은 이해할 수 없을 정도로 빠르고 복잡하게 진보할 것”이며, 머지 않은 미래에 인간의 능력을 능가하리라고 예측했다. ”

“ 인공지능에 대해 지나치게 낙관적인 최초의 예측이 빗나가면서 기술적 특이점에 관한 논의는 한동안 기세가 한풀 꺾였지만, 2005년 레이 커즈와일이 <특이점이 온다>를 출판하면서 초지능으로 이끄는 기술 발달이라는 주제가 다시 돌아왔다. ”

“ 특이점 이론가들이 가장 두려워하는 것은, 컴퓨터가 소프트웨어를 설계하는 데 더 깊이 관여하면서 자력으로 인간을 능가하는 능력을 급속도로 얻지 않을까 하는 점이다. 그러나 머신러닝이 보여주는 증거는 그 반대 방향을 가리킨다. 기계가 더 강력해지고 학습할 수 있게 될수록, 기계는 더욱더 인간과 유사하게 학습한다. ”

“ 많은 사용자가 딥러닝에 대해 “잘 작동하고는 있지만, 왜 그런지는 모른다”라고 말한다. 일단 거대한 데이터 바다에 풀어 놓으면, 딥러닝은 고유의 동역학 원리로 스스로 수리하고 최적화하며, 대부분은 올바른 결과를 내놓는다. 그러나 딥러닝이 엇나가도 우리는 어디가 잘못됐는지, 어디를 고쳐야 할지 단서를 찾을 수 없다. 특히나 결점이 프로그램에 있는지, 메소드에 있는지, 아니면 환경이 바뀌었기 때문인지 모른다면 더욱더 그렇다. 이제는 다른 명료성에 집중할 때다. ”

“ 우리가 사람의 뇌가 작동하는 방식을 잘 모르는 현실을 묵과하는 이유는 사람의 뇌가 항상 같은 방식으로 작동하기 때문이며, 인간이 자신의 자연언어를 사용해서 타인과 소통할 수 있고, 배울 수 있으며, 타인을 지도하고, 동기를 부여할 수 있기 때문이다. 만약 로봇이 알파고처럼 불투명한 존재가 된다면 로봇과는 의미 있는 대화를 나눌 수 없을 테고, 이는 불행이 될 것이다. 운용 환경이나 작업에 조금이라도 변화가 있을 때마다 로봇을 재교육해야 할 것이다. ”

“ 기계의 행동 법칙을 정확하게 검증하지 않고, 인간이 수용할 만한 원칙에 따라 기계의 행동이 수행될 것임을 확인하지 않은 채 기계에 우리의 행동을 결정하게 할 때, 인류에게는 재난이 닥칠 것이다! 한편 스스로 학습할 수 있고 그 지식을 바탕으로 의사결정을 하는 지니 같은 기계는 인간과 같은 결정을 내릴 의무가 없거나, 인간이 수용할 만한 의사결정을 하지 않을 것이다. ”

“ 논리적인 계획과 합리적인 에이전트라는 관점에서, 인공지능은 그 기계의 목적이 외부에서 특정된다. 그것이 목적의 형태든, 효용 함수든, 강화 학습시의 보상 함수든, 그 무엇이든지 간에 말이다. 위너의 말을 빌리자면 그것이 바로 “기계에 입력되는 목적”이다. 사실 이 분야의 교리 중 하나는, 인공지능 시스템이 특화된 목적(설계상으로 목적이 내재되어 있음)이 아니라 보편적인 목적(어떤 목적이 입력되면 그것을 수행할 수 있음)을 지녀야 한다는 것이다. ”

“ 기계에 목적을 주입해서 기계의 행동을 명확한 알고리즘에 따라 최적화하는 것은 ”기계의 행동은 사람이 수용할 수 있는 원칙에 따라 수행될 것이다!“라고 보장하는 감탄스러운 접근법으로 보이다. 그러나 위너는 기계에 올바른 목적을 입력해야 한다고 경고한다. 이는 ’미다스 왕 문제‘라고 할 수 있다. ”

“ 인공지능 통제의 문제의 해결책을 찾는 일은 중요한 과제다. 보스트롬의 말을 빌리자면, “우리 시대의 중요한 과제”라고 할 수 있다. 지금까지 인공지능 연구는 의사결정에 능숙한 시스템 개발에 집중했지만, 인공지능의 통제는 더 나은 의사결정을 하는 문제와는 다르다. 알고리즘을 얼마나 뛰어나게 극대화하든, 세계 모델이 얼마나 정확하든 상관없이, 효용 함수가 인간의 가치와 일치하지 않는다면 기계의 결정은 인간의 눈으로 볼 때 형언할 수 없이 어리석은 선택으로 보일 수 있다. 이 문제는 목적과 독립적인 순수한 지능 분야에서 벗어나 인간에게 유익함을 증명할 수 있는 시스템 분야로, 인공지능 자체의 정의를 바꾸어야 한다고 주장한다. 이 문제를 심각하게 인지할 때 인공지능과 인공지능의 목적, 그리고 인공지능과 인간의 관계를 바라보는 새로운 방식을 만들 수 있다. ”

“ 위대한 책을 가치를 알아보기에는 아직 너무 어릴 때 명작을 읽는 아이러니는 많은 이들이 되새겨보았을 것이다. 명작을 ’이미 읽은 책’ 무더기에 올려놓고 명작이 미치는 영향력에서 자신을 차단하는 한편, 그저 몇 가지 오해에 가까운 지식을 얻고는 그 책을 무시하는 것은 해롭지 않기가 힘든 태도다. 어릴 때 읽은 <인간의 인간적 활용>을 60년 이상 지난 후에 다시 읽었을 때, 이런 생각이 나에게 특히나 강한 충격을 주었다. 그러니 어린 시절 읽었던 책을 다시 읽어 보는 습관을 규칙적으로 들여야 한다. 후에 ’발견’과 ‘발명‘으로 이어지는, 자기 자신의 명확한 앞날을 찾는 일이 흔하기 때문이다. 이와 더불어 삶의 문제와 대치할 때 마음이 찢기고 헤져도 휘둘리지 않을, 준비되고 확장된 풍부한 통찰력을 얻게 된다. ”

“ … 우리는 동료가 아니라 도구를 만들고 있으며, 가장 큰 위험은 그 차이를 인정하지 않는 것이다. 우리는 정치적, 법적 혁신을 통해 그 차이를 강조하고 검증하고 방어하려 애써야만 한다. ”

“ 인류는 그 자신이 초래한 곤경에 빠졌다. 우리는 역설적이게도 우리 자신이 원하는 서비스를 제공하는 기업들에게 착취당하고 있다. 아울러 우리의 삶은 공격 행위에 노출되어 있는 수많은 소프트웨어 시스템들에 의존한다. 이 곤경에서 빠져나오는 일은 장기 프로젝트가 될 것이다. 여기에는 공학과 법률이 수반될 것이며, 가장 중요하게는 도덕적인 리더십이 필요하다. 첫번째로 맞이할 가장 큰 도전은 다름 아닌 도덕적인 리더십이다. ”

“ * 인공지능은 의식을 가질 수 있는가? * 인공지능은 창의적일 수 있는가? * 인공지능은 악해질 수 있는가? … 생리심리학, 신경생물학, 물리학을 토대로 한 답이 ‘예, 예, 예‘가 아니라고 하는 편이 오히려 놀라울 것이다. 이유는 단순하지만 심오하다. 이들 학문 분야에서 나온 증거들은 자연지능과 인공지능 사이에 명확한 경계선이 없다는 점을 압도적으로 보여준다. ”

“ (범용 인공지능의) ‘통제’라는 측면에서 우리는 무엇을 해야 할까? 2017년 채택된 23가지 아실로마 원칙은 아래와 같은 단기 목표를 포함하여, 충분한 안내 지침을 제시한다. 1. 치명적일 수 있는 자율무기 경쟁은 금지해야 한다. 2. 인공지능이 생산한 경제적 번영은 인류 전체가 공유하며, 모든 인류를 이롭게 해야 한다. 3. 인공지능에 대한 투자는 그것을 유익하게 활용하는 방법에 대한 연구 투자와 함께 이루어져야 한다. … 어떻게 해야 미래의 인공지능 시스템을 견고하게 만들 수 있을까? 어떻게 해야 그것이 제대로 작동하지 않거나 해킹당하는 일 없이, 인간이 원하는 일을 하도록 할 수 있을까? ”