[시스템 에러]함께 읽어요-그믐 시스템은 에러 아닙니다

[시스템 에러]의 저자는 3명의 스탠퍼드대 교수입니다. 스탠퍼드대 정치학 교수이자 사회윤리센터, 인간중심인공지능연구소를 이끌고 있는 철학자 롭 라이히, 구글 초기 멤버로 수십억 명이 사용하는 응용프로그램을 만드는 일을 10년간 한 뒤 스탠퍼드대 컴퓨터공학 교수로 재직 중인 메흐란 사하미, 오바마 행정부 핵심 참모를 지낸 뒤 스탠퍼드대에 복귀해 스탠퍼드임팩트랩을 이끌고 있는 학자 제러미 와인스타인입니다.

(10~11쪽) 몇개월 전 빅테크 플랫폼들은 부정선거의 핵심이라는 혐의를 받았다. 1월6일 결국 그들은 공포를 인식했다. 트위터는 9000만에 가까운 팔로워를 거느린 트럼프의 계정을 차단하고 게시물을 올리지 못하게 만들었다. 플랫폼들이 트럼프가 내놓는 선거 허위정보에 보낸 질책은 한편으로 소수의 빅테크 기업에 얼마나 큰 권력이 집중돼있는지 확실하게 보여주는 일이었다. 미국 의사당 습격을 유발한 사건들에서 빅테크가 한 역할과 그들이 보인 반응으로 인해 수년 동안 축적되어온 기술에 대한 우려가 수면 위로 올라왔다. (13쪽) 기술을 무비판적으로 수용하거나 생각 없이 비난만 한다면 기술 전문가들에게 우리의 미래를 맡기는 꼴이 될 것이다. 이 책의 목적은 개인으로서, 그리고 민주국가의 시민으로서 우리의 힘을 어떻게 행사할지, 민주주의에 어떻게 새로운 힘을 불어넣을지, 디지털 혁명이 어떻게 우리에게 가장 큰 혜택으로 돌아오게 할지 이해하도록 돕는 것이다. (15~16쪽) 메흐란 사하미는 구글에서 일한 경력을 갖고 있다. 수십억 명의 사람들이 사용하는 응용 프로그램을 만들며 업계에서 10년을 보냈다. 그는 2007년 머신러닝과 인공지능 분야의 경력을 가지고 스탠퍼드대학교로 돌아와 컴퓨터공학 교수가 되었다. 엔지니어들은 좋은 의도로 코드를 만들지만, 메흐란이 우려하듯이, 큰 실책으로 그 문제가 모두에게 드러나기 전까지는 사회적 결과를 전혀 고려하지 않는 경우가 너무나 많다. 문제가 부각될 때는 이미 너무 늦어버린 후다. 제러미 와인스타인은 2009년 버락 오바마 대통령의 집권과 함께 행정부에서 일했다. 정책결정권자들이 여러 면에서 기술에 무지한 것과 마찬가지로, 기술자들은 공공정책의 중요성이나 기술이 사회에 미치는 영향을 이해하고 예측하고 완화하는 데 도움이 되는 사회과학적 방법들을 모르거나 의도적으로 귀를 닫는 경향이 있다. 제러미는 기술이 우리의 사회적 환경을 어떻게 재형성하고 있는지를 가르치고 그에 관한 연구에 사회과학을 접목하는 일을 우선적인 과제로 삼고 있다. (16~17쪽) 롭 라이히는 스탠퍼드대 사회윤리센터와 인간중심인공지능연구소를 이끌고 있는 철학자다. 왜 최적화에 집착하는가? 디지털 광고의 클릭 수 증가가 당신이 가장 우선하는 소명인가? 기술이 가진 힘을 고려할 때 문제를 규정하고 해법을 찾는 자리에 앉을 자격이 있는 사람은 누구인가? 민주주의는 어디에 적합한가? 이런 깊이 있는 질문을 던지지 않은 채 문제 해결자가 되는 것만으로는 충분하지 않다. 학생들은 새로운 기술의 해로운 영향을 더이상 무시할 수 없게 된 이 시점에서 기술계에서 커리어를 추구한다는 것이 어떤 의미일지 고민하고 있다. 전문가들은 기술기업을 내부에서부터 개혁하는 것이 가능한 일인지에 대해 치열하게 질문을 던지고 있다.

(33~34쪽) 우리 시대의 가장 영향력이 큰 변화 중 하나는 삶의 거의 모든 측면을 전복시키고 있는 디지털 기술의 물결이다. 우리는 극단적인 사고의 유혹에 저항해야 한다. 기술에 대한 공상적 유토피아나 디스토피아 모두 복잡한 이 시대를 보는 지나치게 안일하고 단순한 관점이다. 쉬운 출구를 택하거나 포기하는 대신 우리 시대의 본질을 규정하는 문제, 기술의 진보를 개인과 사회의 이익을 전복시키기보다는 우리의 이익에 도움을 주는 방향으로 이용하는 일에 적극적으로 나서야 한다. 이것은 기술 전문가들만의 과제가 아닌 우리 모두의 과제다. 페이스북의 사업모델은 우리가 그들의 플랫폼에서 보내는 시간을 늘리고, 우리 개인정보에 대한 접근권을 광고주와 정치공작을 펼치는 사람들에게 팔아 그들이 바라는 대로 우리 행동을 조작하고, 그런 조작으로 인한 부작용은 우리 개인의 삶과 민주제도가 고스란히 떠안게 하는 것이다. 유튜브의 추천 시스템과 자동재생 설정 기능은 사용자들이 플랫폼에서 동영상을 계속 시청하도록 하는 동시에 사람들을 반향실에 밀어넣고 그들에게 더 많은 극단적인 콘텐츠를 제공해 사실과 신뢰에 의존하는 민주주의를 약화한다. (35쪽) 이런 부산물은 우연히 생긴 것이 아니라 기술자들이 새로운 제품을 디자인하고 시장에 내놓으면서 하는 선택을 반영하는 것이다. 이런 선택의 대부분은 우리 눈에 보이지 않는다. 우리 사회의 민주주의와 시민들의 안녕에 직접적인 영향을 주는데도 말이다. 거기에 신기술과 연관된 많은 부분을 규제하지 못하는 정부의 실책까지 더해지면 우리가 살고 있는 세상이 점점 위험해지고 충격적일 정도로 불평등해지고 있는 이유를 쉽게 알 수 있다.