[책걸상 함께 읽기] #48. <권력과 진보>

“ 현대 AI는 테크 지배층이 쥐고 있는 도구를 증폭해 그들이 창조적인 방식으로 노동 자동화와 노동력 대체를 밀어붙일 수 있게 해준다. 그러면서도 생산성을 높이고 인류가 직면한 수많은 문제를 해결하는 등 온갖 종류의 선한 일을 하고 있는 것으로 상정된다(그들은 그렇게 주장한다). AI로 막강해진 테크 지배층은 나머지 사람들의 의견을 들어야 할 필요성을 한층 덜 느낀다. 사실, 테크 지배층 상당수가 나머지 사람들은 그리 현명하지 못해서 자신에게 좋은 것이 무엇인지 잘 모른다고 생각한다. 2000년대 중반 무렵이면 디지털 기술과 거대 기업의 결합은 억만장자를 점점 더 많이 만들어 내고 있었다. 그리고 2010년대에 AI 도구가 퍼지기 시작하면서 이러한 부는 한층 더 증폭되었다. 하지만 이것은 AI 도구들이 주창자들이 주장해 온 것만큼 놀랍거나 생산적이어서가 아니었다. 오히려 AI 기반 자동화는 생산성을 크게 높이는 데 종종 실패하며, 더 안 좋게도 공유된 번영은 전혀 짓지 못한다. 그런데도 업계의 거물과 고위 경영자들을 매혹하고 부자로 만들어 주며, 그와 동시에 노동자들의 역량과 권력을 약화하고 사람들로부터 수집한 정보를 돈으로 만드는 방법을 개척한다. 자동화와 감시에 디지털 테크놀로지를 사용하는 쪽으로 맹렬히 돌진하는 가운데 이 모든 사실이 간과되고 있다는 점이 우리가 이 비전의 이 같은 국면을 “AI 환상”이라고 부르는 이유다. 이 환상은 향후 몇 년간 강력한 알고리즘이 더 많이 개발되고 온라인을 통한 전 지구적 연결이 더욱 심화되면서, 그리고 가전제품 등 기계들이 영속적으로 클라우드에 연결되어 더 많은 데이터를 수집하면서 한층 더 강화될 것이다. ”

“ 페이스북은 2020년 미국 대선 이후 사용자를 오도할 소지가 있는 이야기와 신뢰성이 낮은 웹사이트를 촉진하지 않도록 알고리즘을 바꾸기로 결정했고 그 결과는 놀라웠다. 증오 선동 콘텐츠와 가짜 정보가 더 이상 바이럴되지 않았다. 하지만 얼마 뒤에 이 변화는 철회되었고 페이스북은 예전의 비즈니스 모델로 다시 돌아왔다. 그 변화가 사용자 관여도에 미친 영향을 알아보았더니 선동적이고 자극적인 메시지를 덜 보았을 때 페이스북에서 쓰는 시간이 줄어든 것으로 나타난 것이 주된 이유였다. 저커버그와 샌드버그는, 그리고 나중에는 클레그도 플랫폼은 어느 누구의 자유로운 발언도 제한하면 안된다는 논리로 이런 결정을 내내 옹호했다…… ”

“ 하지만 추가적인 독려가 없으면 대다수의 학생들은 서구 매체를 방문하는 데 관심이 없었고 무료 VPN을 쓰고 싶어 하지도 않았다. 그들은 학교와 중국 매체의 프로파간다에 너무나 설득되어서 서구의 매체에서는 중국에 대해 유의미하고 믿을 만한 정보를 얻을 수 없다고 생각했다. 그들은 이미 검열을 내면화했기 때문에 사실 당국이 적극적으로 검열할 필요조차 없었다. 두 연구자는 이 상황을 조지 오웰의 <1984>보다는 올더스 헉슬리의 <멋진 신세계>에 가깝다고 해석했다. 사회 비평가 닐 포스트먼은 이렇게 말했다. "오웰이 두려워한 것은 책을 금지하려는 사람들이었다. 헉슬리가 두려워한 것은 책을 읽으려고 하는 사람이 애초에 아무도 없기 때문에 책을 금지할 이유 자체가 없는 세상이었다." ”