possible minds

“ 기계의 행동 법칙을 정확하게 검증하지 않고, 인간이 수용할 만한 원칙에 따라 기계의 행동이 수행될 것임을 확인하지 않은 채 기계에 우리의 행동을 결정하게 할 때, 인류에게는 재난이 닥칠 것이다! 한편 스스로 학습할 수 있고 그 지식을 바탕으로 의사결정을 하는 지니 같은 기계는 인간과 같은 결정을 내릴 의무가 없거나, 인간이 수용할 만한 의사결정을 하지 않을 것이다. ”

“ 논리적인 계획과 합리적인 에이전트라는 관점에서, 인공지능은 그 기계의 목적이 외부에서 특정된다. 그것이 목적의 형태든, 효용 함수든, 강화 학습시의 보상 함수든, 그 무엇이든지 간에 말이다. 위너의 말을 빌리자면 그것이 바로 “기계에 입력되는 목적”이다. 사실 이 분야의 교리 중 하나는, 인공지능 시스템이 특화된 목적(설계상으로 목적이 내재되어 있음)이 아니라 보편적인 목적(어떤 목적이 입력되면 그것을 수행할 수 있음)을 지녀야 한다는 것이다. ”

“ 기계에 목적을 주입해서 기계의 행동을 명확한 알고리즘에 따라 최적화하는 것은 ”기계의 행동은 사람이 수용할 수 있는 원칙에 따라 수행될 것이다!“라고 보장하는 감탄스러운 접근법으로 보이다. 그러나 위너는 기계에 올바른 목적을 입력해야 한다고 경고한다. 이는 ’미다스 왕 문제‘라고 할 수 있다. ”

“ 인공지능 통제의 문제의 해결책을 찾는 일은 중요한 과제다. 보스트롬의 말을 빌리자면, “우리 시대의 중요한 과제”라고 할 수 있다. 지금까지 인공지능 연구는 의사결정에 능숙한 시스템 개발에 집중했지만, 인공지능의 통제는 더 나은 의사결정을 하는 문제와는 다르다. 알고리즘을 얼마나 뛰어나게 극대화하든, 세계 모델이 얼마나 정확하든 상관없이, 효용 함수가 인간의 가치와 일치하지 않는다면 기계의 결정은 인간의 눈으로 볼 때 형언할 수 없이 어리석은 선택으로 보일 수 있다. 이 문제는 목적과 독립적인 순수한 지능 분야에서 벗어나 인간에게 유익함을 증명할 수 있는 시스템 분야로, 인공지능 자체의 정의를 바꾸어야 한다고 주장한다. 이 문제를 심각하게 인지할 때 인공지능과 인공지능의 목적, 그리고 인공지능과 인간의 관계를 바라보는 새로운 방식을 만들 수 있다. ”

“ 위대한 책을 가치를 알아보기에는 아직 너무 어릴 때 명작을 읽는 아이러니는 많은 이들이 되새겨보았을 것이다. 명작을 ’이미 읽은 책’ 무더기에 올려놓고 명작이 미치는 영향력에서 자신을 차단하는 한편, 그저 몇 가지 오해에 가까운 지식을 얻고는 그 책을 무시하는 것은 해롭지 않기가 힘든 태도다. 어릴 때 읽은 <인간의 인간적 활용>을 60년 이상 지난 후에 다시 읽었을 때, 이런 생각이 나에게 특히나 강한 충격을 주었다. 그러니 어린 시절 읽었던 책을 다시 읽어 보는 습관을 규칙적으로 들여야 한다. 후에 ’발견’과 ‘발명‘으로 이어지는, 자기 자신의 명확한 앞날을 찾는 일이 흔하기 때문이다. 이와 더불어 삶의 문제와 대치할 때 마음이 찢기고 헤져도 휘둘리지 않을, 준비되고 확장된 풍부한 통찰력을 얻게 된다. ”

“ … 우리는 동료가 아니라 도구를 만들고 있으며, 가장 큰 위험은 그 차이를 인정하지 않는 것이다. 우리는 정치적, 법적 혁신을 통해 그 차이를 강조하고 검증하고 방어하려 애써야만 한다. ”

“ 인류는 그 자신이 초래한 곤경에 빠졌다. 우리는 역설적이게도 우리 자신이 원하는 서비스를 제공하는 기업들에게 착취당하고 있다. 아울러 우리의 삶은 공격 행위에 노출되어 있는 수많은 소프트웨어 시스템들에 의존한다. 이 곤경에서 빠져나오는 일은 장기 프로젝트가 될 것이다. 여기에는 공학과 법률이 수반될 것이며, 가장 중요하게는 도덕적인 리더십이 필요하다. 첫번째로 맞이할 가장 큰 도전은 다름 아닌 도덕적인 리더십이다. ”

“ * 인공지능은 의식을 가질 수 있는가? * 인공지능은 창의적일 수 있는가? * 인공지능은 악해질 수 있는가? … 생리심리학, 신경생물학, 물리학을 토대로 한 답이 ‘예, 예, 예‘가 아니라고 하는 편이 오히려 놀라울 것이다. 이유는 단순하지만 심오하다. 이들 학문 분야에서 나온 증거들은 자연지능과 인공지능 사이에 명확한 경계선이 없다는 점을 압도적으로 보여준다. ”

“ (범용 인공지능의) ‘통제’라는 측면에서 우리는 무엇을 해야 할까? 2017년 채택된 23가지 아실로마 원칙은 아래와 같은 단기 목표를 포함하여, 충분한 안내 지침을 제시한다. 1. 치명적일 수 있는 자율무기 경쟁은 금지해야 한다. 2. 인공지능이 생산한 경제적 번영은 인류 전체가 공유하며, 모든 인류를 이롭게 해야 한다. 3. 인공지능에 대한 투자는 그것을 유익하게 활용하는 방법에 대한 연구 투자와 함께 이루어져야 한다. … 어떻게 해야 미래의 인공지능 시스템을 견고하게 만들 수 있을까? 어떻게 해야 그것이 제대로 작동하지 않거나 해킹당하는 일 없이, 인간이 원하는 일을 하도록 할 수 있을까? ”

“ 인공지능의 안전성에 대한 연구는 마음속에 반드시 엄격한 경계선을 그어놓고 수행해야 한다. 범용 인공지능이 상용화되기 전에, 인공지능이 인간의 목적을 이해하고 적용하고 유지하게 하는 방법을 찾아야 한다. 더 지능적이고 강력한 기계를 갖출수록, 인간의 목표와 기계의 목표를 일치시키는 일은 더 즁요해질 것이다. ”

“ 거의 일상적인 과학적 돌파구와 함께 살아가는 데 익숙해졌지만, 인간은 아직 가장 주목해야 할 21세기 기술, 즉 로봇공학, 유전공학, 나노기술이 이전의 기술과는 전혀 다른 위협이라는 사실을 받아들이지 못했다. 특히 공학적 유기체인 로봇과 나노봇은 위험한 증폭 요인을 공유한다. 이들은 자가 복제를 할 수 있다. … 봇 하나가 수많은 개체로 늘어나면서 빠르게 인간의 통제를 벗어날 수 있다. ”

“ 위너가 강조했듯이 발상, 규범, 기관은 그 자체가 기술의 한 형태이며, 뇌 전체에 분포하는 정보 패턴을 구성한다. 기계가 긴파시즘의 조짐을 보일 가능성은 위너가 책에서 강조한 진보적인 발상과 제도, 규범이 얼마나 힘을 갖는지에 가중치를 두어 비교해야 한다. 오늘날 떠도는 디스토피아 예언의 결점은 이런 규범과 제도의 존재를 무시하거나 인과적 힘을 철저하게 저평가한다는 점이다. ”

“ … 대부분 지능의 작동방식을 제대로 이해해서가 아니라 더 빠른 칩과 더 큰 데이터로 완전 탐색하는 능력을 통해 성공을 거둔다. 완전 탐색은 수백만 개의 사례를 통해 프로그램을 훈련시켜서, 비슷하지만 새로운 예들을 일반화하는 능력이다. 각각의 시스템은 멍청한 서번트일 뿐이다. 풀 수 있도록 준비되지 않은 문제는 해결할 능력이 거의 없고 숙련도도 불안정하다. 분명히 말하자면 이런 프로그램 중 그 어느 것도 실험실을 지배하거나 프로그래머를 노예화할 가능성을 보여주지 못한다. ”

“ 최근 인공지능과 머신러닝의 발달은 체스를 두고, 이미지를 분류하고, 글을 처리하는 분야에서 인간 능력과 맞먹거나 능가하는 시스템을 만들었다. 그러나 앞차 운전자가 왜 당신의 앞에 끼어드는지, 사람들이 왜 자신의 이익에 반하는 쪽이 투표하는지, 배우자의 생일 선물로 무엇을 사야 할지 알고 싶다면, 아직은 기계보다는 인간에게 묻는 편이 낫다. 이런 문제를 해결하려면 컴퓨터 안이 인간의 마음 모델을 구축해야 하기 때문이다. 이는 기계가 인간 사회에 더 잘 통합되기 위해서도, 인간 사회가 계속 존속하리라는 보장을 받기 위해서도 필요하다. ”

“ 결국 우리에게는 일반화할 수 있는 합리성과 휴리스틱의 정확성을 갖춘, 인간의 마음이 움직이는 방식을 설명하는 방법이 필요하다. 이 목적을 이루는 한 가지 방법은 합리성에서 출발해서 더 현실적인 방향으로 나아가는 방법을 생각하는 것이다. … 전통적인 개념의 합리성은 사람의 행동 방식에 대한 훌륭한 처방이 더는 아니다. … 이러한 트레이드오프는 공식화할 수 있으며, 인공지능 연구자가 ‘유한적 최적성’이라고 부르는 합리적인 행동 모델이 되었다. 유한적 최적성을 갖춘 행위자는 항상 정확하게 옳은 행동을 선택하는 데 집중하지 않는다. 그보다는 실수와 너무 많은 생각 사이에서 완벽한 균형을 잡을 수 있는 올바른 알고리즘을 찾는데 집중한다. 유한적 최적성은 합리성과 휴리스틱의 틈새를 잇는다. ”

“ 현실 세계의 문제 중에는 실제로 명확한 상태, 행동, 보상을 개별적으로 정의할 수 있는 것도 있다. 그러나 인공지능의 성능이 향상되면서 해결해야 하는 문제는 이런 틀에 잘 들어맞지 않는다. 더는 로봇에게 세상을 작은 조각으로 잘라 상자에 넣어줄 수 없다. 사람을 돕는다는 것은 현실 세계에서 일하는 것을 뜻하게 되며, 여기서는 실제로 사람과 상호작용하고 사람에 대해 생각해야 한다. ‘사람’은 인공지능의 문제 정의 어딘가에 공식적으로 포함되어야 할 것이다. ”