possible minds

“ 인공지능의 안전성에 대한 연구는 마음속에 반드시 엄격한 경계선을 그어놓고 수행해야 한다. 범용 인공지능이 상용화되기 전에, 인공지능이 인간의 목적을 이해하고 적용하고 유지하게 하는 방법을 찾아야 한다. 더 지능적이고 강력한 기계를 갖출수록, 인간의 목표와 기계의 목표를 일치시키는 일은 더 즁요해질 것이다. ”

“ 거의 일상적인 과학적 돌파구와 함께 살아가는 데 익숙해졌지만, 인간은 아직 가장 주목해야 할 21세기 기술, 즉 로봇공학, 유전공학, 나노기술이 이전의 기술과는 전혀 다른 위협이라는 사실을 받아들이지 못했다. 특히 공학적 유기체인 로봇과 나노봇은 위험한 증폭 요인을 공유한다. 이들은 자가 복제를 할 수 있다. … 봇 하나가 수많은 개체로 늘어나면서 빠르게 인간의 통제를 벗어날 수 있다. ”

“ 위너가 강조했듯이 발상, 규범, 기관은 그 자체가 기술의 한 형태이며, 뇌 전체에 분포하는 정보 패턴을 구성한다. 기계가 긴파시즘의 조짐을 보일 가능성은 위너가 책에서 강조한 진보적인 발상과 제도, 규범이 얼마나 힘을 갖는지에 가중치를 두어 비교해야 한다. 오늘날 떠도는 디스토피아 예언의 결점은 이런 규범과 제도의 존재를 무시하거나 인과적 힘을 철저하게 저평가한다는 점이다. ”

“ … 대부분 지능의 작동방식을 제대로 이해해서가 아니라 더 빠른 칩과 더 큰 데이터로 완전 탐색하는 능력을 통해 성공을 거둔다. 완전 탐색은 수백만 개의 사례를 통해 프로그램을 훈련시켜서, 비슷하지만 새로운 예들을 일반화하는 능력이다. 각각의 시스템은 멍청한 서번트일 뿐이다. 풀 수 있도록 준비되지 않은 문제는 해결할 능력이 거의 없고 숙련도도 불안정하다. 분명히 말하자면 이런 프로그램 중 그 어느 것도 실험실을 지배하거나 프로그래머를 노예화할 가능성을 보여주지 못한다. ”

“ 최근 인공지능과 머신러닝의 발달은 체스를 두고, 이미지를 분류하고, 글을 처리하는 분야에서 인간 능력과 맞먹거나 능가하는 시스템을 만들었다. 그러나 앞차 운전자가 왜 당신의 앞에 끼어드는지, 사람들이 왜 자신의 이익에 반하는 쪽이 투표하는지, 배우자의 생일 선물로 무엇을 사야 할지 알고 싶다면, 아직은 기계보다는 인간에게 묻는 편이 낫다. 이런 문제를 해결하려면 컴퓨터 안이 인간의 마음 모델을 구축해야 하기 때문이다. 이는 기계가 인간 사회에 더 잘 통합되기 위해서도, 인간 사회가 계속 존속하리라는 보장을 받기 위해서도 필요하다. ”

“ 결국 우리에게는 일반화할 수 있는 합리성과 휴리스틱의 정확성을 갖춘, 인간의 마음이 움직이는 방식을 설명하는 방법이 필요하다. 이 목적을 이루는 한 가지 방법은 합리성에서 출발해서 더 현실적인 방향으로 나아가는 방법을 생각하는 것이다. … 전통적인 개념의 합리성은 사람의 행동 방식에 대한 훌륭한 처방이 더는 아니다. … 이러한 트레이드오프는 공식화할 수 있으며, 인공지능 연구자가 ‘유한적 최적성’이라고 부르는 합리적인 행동 모델이 되었다. 유한적 최적성을 갖춘 행위자는 항상 정확하게 옳은 행동을 선택하는 데 집중하지 않는다. 그보다는 실수와 너무 많은 생각 사이에서 완벽한 균형을 잡을 수 있는 올바른 알고리즘을 찾는데 집중한다. 유한적 최적성은 합리성과 휴리스틱의 틈새를 잇는다. ”

“ 현실 세계의 문제 중에는 실제로 명확한 상태, 행동, 보상을 개별적으로 정의할 수 있는 것도 있다. 그러나 인공지능의 성능이 향상되면서 해결해야 하는 문제는 이런 틀에 잘 들어맞지 않는다. 더는 로봇에게 세상을 작은 조각으로 잘라 상자에 넣어줄 수 없다. 사람을 돕는다는 것은 현실 세계에서 일하는 것을 뜻하게 되며, 여기서는 실제로 사람과 상호작용하고 사람에 대해 생각해야 한다. ‘사람’은 인공지능의 문제 정의 어딘가에 공식적으로 포함되어야 할 것이다. ”

“ 뉴런 사이의 시냅스에서 전기 신호가 이온 채널을 지나면서 나타나는 인간의 뇌 기능도 그저 더 많은 전기적, 화학적 기울기에 따른 전자와 원자의 흐름에 지나지 않는다. … 여기 앉아 이 글을 쓰면서, 나는 실제로는 기울기의 n차원 평형 상태를 찾으려는 중이다. … 그러나 인간의 의사결정 능력처럼 더 복잡한 행동은 어떻게 설명할 수 있을까? 답은 더 많은 기울기 하강에 있다. ”

“ 우리 인간의 지능은 기적이며 불가해하다. 과학은 인간의 뇌가 층과 피드백 고리를 가진 다른 복잡계와 같은 방식으로 작동한다는 관점에 의견을 같이 한다. 이런 복잡계는 수학적으로 ‘최적화 함수’를 따르지만 어떤 의미에서는 그냥 ‘아래로 흘러가는’ 상태라고 부를 수도 있다. ”

“ 인간이 만든 생각하는 기계는 은유 이상이다. 문제는 ‘기계가 인간을 다치게 할 만큼 강력해질 것인가?’(물론 그럴 것이다)나 ‘기계가 항상 인간에게 최대의 이익을 가져다주는 방향으로 움직일 것인가?’(그렇지 않을 것이다)가 아니라, ‘오랜 시간이 지나면 인공지능이 인간에게 만병통치약/아포칼립스의 연속체에서 빠져나올 수 있는 길을 알려줄 수 있는가?’이다. ”

“ 사람들은 인공지능을 두려워한다. 아마 그래야 할 것이다. 그러나 인공지능은 데이터가 필요하다는 사실도 깨달아야 한다. 데이터가 없다면 인공지능은 아무것도 아니다. 인공지능을 지켜볼 필요가 없다. 대신 인공지능이 무슨 데이터를 먹는지, 무엇을 하는지 감시해야 한다. 유럽연합과 다른 국가와의 협력으로 만든 신뢰 네트워크의 틀은 우리의 알고리즘, 우리의 인공지능을 만들 수 있지만, 무엇이 들어가고 나오는지 잘 살펴야 한다. 그리고 물을 수 있어야 한다. 이것은 차별적인 결정이 아닐까? 이것이 사람들이 원하는 결과일까? 이것은 어딘가 조금 이상하지 않나? ”

“ 각각의 의사결정이 들어가고 나간 데이터를 알 수 있으면, 질문하기는 어렵지 않다. 공정한 알고리즘인가? 이 인공지능은 인간의 윤리적인 기준에 따라 움직이고 있는가? 이 같은 인간 참여형 접근법을 ‘개방 알고리즘’이라고 한다. 인공지능이 어떤 것을 입력값으로 택하고 그 값을 이용하여 어떤 결정을 내리는지 관찰할 수 있다. 이 두 가지를 감독할 수 있다면 인공지능이 제대로 작동하는지 아닌지도 알 수 있다. ”

“ 보다 전반적으로 보면, 알고리즘과 빅데이터가 수렴하면서 우리의 삶을 더 많이 지배할수록 과학사에서 얻은 다음의 두 가지 교훈을 명심해야 할 것이다. 첫째, 판단은 자제력을 지닌 순수한 객관성에서 폐기된 겉껍질이 아니다. 둘째, 기계적 객관성은 과학 산업의 본질적인 정수가 아니며, 다른 가치들 사이에서 경쟁하는 가치다. 이 두 가지는 알고리스트들이 객관성을 꿈꾸더라도 마음속 깊이 새겨야 할 교훈이다. ”

“ 만약 로봇의 의식이 인간과 정확하게 같지 않다면, 이는 로봇에게 제한된 권리만 주는 변명으로 이용될 것이다. 다른 인종이나 민족이 미개한 인간이라는 주장과 닮은꼴이다. 로봇은 이미 자유 의지를 나타냈을까? 벌써 자의식을 갖추었을까? 로봇 Qbo가 거울 속 로봇이 자신임을 깨닫는 ‘거울 테스트’를 통과한 데 이어, 로봇 NAO는 자신의 목소리를 인식하고 자신의 내적 상태가 무음인지 아닌지를 추론하는 테스트를 통과했다. ”