[AI는 인간을 먹고 자란다] 결과물과 가치중립성의 이면

전 오히려 피터 틸 같은 투자자들의 영향력에 대한 묘사보다는 마크 저커버그에 대한 작가의 지적이 더 와 닿더라고요. 다양성이나 포용, 개방과 오픈마인드에 대한 긍정적 인식이 지배적인 현대사회에서 오히려 이런 이미지들도 AI의 실체를 가리는 또 하나의 '환상'이 될 수 있겠구나 싶었거든요.

앞의 2장에서 엔지니어/개발자들에 대해 얘기하면서 '아르파넷'의 개발일화를 잠시 소개한 적이 있죠. 하루 평균 16시간씩 프로그래머들이 자발적으로 추가 보상 없이 일을 한 이 선례는 이후 IT업계에서는 하나의 신화가 되어 굳어집니다. 특히 '좋아서 일을 한다'는 개념은 '일을 즐긴다' 또는 '재미있는 일'의 가치로 조금씩 변화합니다. 아르파넷 프로그래머들은 틈틈이 자신들의 흥미차원에서 최초의 게임기능이나 이메일 기능을 추가하였는데 업무와 놀이/여가의 구분이 조금씩 모호해집니다. <일은 당신을 사랑하지 않는다>는 IT기업들이 프로그래머/엔지니어 노동자가 노조를 결성하여 연대하게 만들기 보다는 놀이를 곁들인 '자유로운 조직문화'라는 당근을 제시하는 전략을 택했다고 분석합니다. 자유로운 출퇴근 복장, 자기 의견을 개진할 수 있는 문화, 일을 하다가도 게임을 하거나 밖으로 나갈 수 있는 분위기 등은 제조업이나 금융업 같은 보수적인 산업에 비하면 훨씬 매력적으로 보였기 때문이죠. 하지만 세라 자페는 이것이 근로자를 위한 복지라기 보다는 경영진들이 직원을 보다 은밀하게 통제하는 '관리방안'의 하나로 봅니다. 당신이 좋아할만한 기업문화와 분위기를 만들어줬으니 그에 상응하는 헌신을 바치라는 무언의 압력은 IT근로자들에게 잦은 야근, 집중적인 특근문화(크런치)를 당연하게 여기도록 하고 불만을 드러내지 못하게 만들었다는 겁니다. '이 일이 좋아서 선택했으므로 불만을 느낀다면 일을 사랑하지 못하는 거다' 라는, 개인으로 귀결되는 논리가 형성됩니다. 왜냐면 놀이터와 같은 일터에서 열심히 일하지 않는다는 건, 노는 것조차 제대로 집중하지 못한다는 얘기가 되기 때문입니다. 놀이와 업무의 모호한 공유가 조직문화가 되고 그 조직문화에 만일 적응을 못하는 개인이 있다면 그는 회사의 '관대한 혜택'에 만족하지 못하는 부적응자가 되버리니까요. 위 내용은 산업에 종사하는 노동자의 입장에서, 근무환경의 측면에서 분석한 거지만 마크 저커버그처럼 회사의 의사결정이라는 권력구조의 측면에서도 '수평적이고 개방적인 문화'가 회사가 펼치는 전략일 수 있다고 봅니다. 다양한 조직구성원과 사회 생태계를 고려하고 배려하는 이미지를 형성한 기업이나 CEO는 '민주적인 리더'로 인식될 수 있죠. 어쩌면 현재의 빅테크 기업가들이 공개적인 자리에서 캐주얼한 옷을 입고, 대중의 앞에 자주 나서며, 혁신가의 이미지를 주로 가져가려는 것도 그런 연관이 있지 않을까 싶네요.

5장에서 언급된 직원 감시 프로그램들에 대해 찾아봤습니다. StandoutCV라는 구직자 및 직장인용 블로그 설립자 Andrew Fennell이 시장에서 가장 많이 쓰이는 50여개의 감시 프로그램들을 분석하고 추적하는 프로젝트에 대한 글인데 주요 내용들만 가져왔습니다. 1) 직원 감시 프로그램별 기능구현 정도 (%는 감시 프로그램 중 해당기능이 구현되어 있는 비율을 의미) - 시간추적 : 96%, 직원이 PC나 노트북을 업무 관련 목적으로 사용한 총 시간을 집계하는 기능 - 실시간 모니터링 : 86%, 직원이 정확히 어떤 작업을 수행중이고 어느 파일에 접근하거나 수정했는지 추적하는 기능 - 업무집중도 확인 : 86%, 직원이 일에 몰입 중이거나 또는 자리를 비웠는지 시간을 측정하는 기능 - 웹사이트 및 앱 사용여부 : 82%, 근무 중 어느 사이트나 앱에 접근했고 얼마나 사용했는지 집계하는 기능 - 화면기록 및 캡처 : 78%, 스크린이 있는 전자기기로 무엇을 조회 중인지 실시간으로 녹화하거나 스크린샷으로 캡처할 수 있는 기능 - 키보드/마우스 추적 : 44%, 마우스의 움직임과 키보드 타자를 수집하는 기능 - 스텔스 모드 : 38%, 직원은 인지하지 못하지만 상급자가 실시간으로 직원들의 전자기기 사용현황을 감시할 수 있는 기능 2) 가장 광범위하게 직원 정보를 수집하는 프로그램들 2021년 조사 당시에는 Teramind가 GPS실시간 추적을 제외한 나머지 추적/감시 기능을 전부 제공하여 압도적이었지만 2023년에는 Veriato Vision이라는 프로그램의 등장으로 두 프로그램이 공동으로 가장 '침투적인' 프로그램으로 꼽혔습니다. Teramind는 GPS추적이 없는 대신 전자기기의 내장스피커를 이용한 대화 녹음/실시간 청취 기능이 있는 반면, Veriato는 그 반대인데요. Teramind는 2022년 당시 12개국에서 약 5,000여 곳의 기업들에게 서비스를 제공했습니다. 주로 이런 직원 감시 프로그램들이 많이 쓰이는 산업은 투자/재무, 법무, 소매업, IT-테크 였으며 일부 공기업이나 공공기관에서도 사용되고 있다고 해요. 3) 실시간 녹음 및 녹화 기능 현재 출시된 직원 감시 프로그램들 중에서는 8%만이 내장 스피커를 통한 실시간 녹음이 가능하다고 합니다. 전체 프로그램에서도 극히 일부만 제공하고 있죠. 하지만 내장 카메라를 이용한 실시간 녹화 기능은 38%로 급증합니다. 이런 감시 프로그램들의 문제는 재택근무나 일터-가정을 자유롭게 오가는 하이브리드 근무를 많이 볼 수 있는 서구권에서는 가정이나 사생활의 영역까지 침범할 우려가 있다는 점입니다. 특히 이들 감시 프로그램 중에는 노트북이나 태블릿PC에 설치가 되어 있어도 직원은 아이콘이나 어떤 형태로든 프로그램이 깔려 있거나 활성화 중이란 걸 알 수 없는 '스텔스 모드'인 경우들이 있다고 해요. 노트북을 탁상이나 책상 위에 놓고 개인적인 용무도 같이 보다 보면 사적 공간에서의 삶과 이동경로 등이 녹음/녹화되지 않는다는 보장이 없는 거죠. 이런 기능들이 AI와 결합하게 된다면 직원의 행동경로나 행동양상에 대한 분석의 명분으로 행해질 수도 있을 테고요. https://standout-cv.com/stats/employee-monitoring-study#key-findings

2021년 MIT 저널리스트들이 올린 기사에서는 마이인터뷰(MyInterview)와 큐리어스씽(Curious Thing)이라는 AI기반 채용분석 툴을 사용하고 분석한 후기가 있는데요. 저널리스트 겸 실험의 참가자들은 가상의 사무직 공고를 올리고, 참가자 중 한 명이 지원을 하여 영어로 화상면접을 진행했습니다. 인터뷰 질문을 스크린으로 상대에게 보여주면 그에 맞게 대답하는 식이었는데요. 일부러 실험 참가자는 처음부터 끝까지 독일어로, 그것도 위키피디아에 있는 인터뷰와 관련없는 정보를 읊는 방식으로 인터뷰를 했음에도 큐리어스씽에서는 9점 만점 중 6점을, 마이인터뷰는 실험 참가자가 직무에 적합한 수준이 73%라고 평가했습니다. 마이인터뷰의 경우에는 다른 사람들이 영어로 제대로 면접을 봤는데도 실험 참가자의 점수는 상위 절반에 들었다고 해요. 마이인터뷰는 면접 후 대화내용을 대본으로 자동으로 기록/저장하는 기능이 있어 추출해봤는데 AI가 독일어를 영어로 옮겨 적었다고 합니다. 그러나 대본을 뽑아본 내용은 서순이나 단어, 문법, 맥락 무엇하나 말이 안되는 문장의 조합으로 사실상 아무 말이나 적은 수준이었다네요. 이런 결과에도 불구하고 실험 참가자의 점수가 부여되는 이유는 AI 면접 툴이 면접자의 억양을 평가요소로 보기 때문이었다고 합니다. 독일어로, 전혀 엉뚱한 내용을 말해도 그 억양이 유창하고 자연스러우면 점수가 매겨졌던 거죠. 비록 2021년 실험이었기에 지금은 많은 개선과 변경이 있겠지만 이런 실험에도 보듯 채용면접 툴에 적용된 AI기술은 완전성이 상당히 낮습니다. 이런 프로그램이 문제인 이유는 해당 툴을 사용하는 기업이나 면접관의 입장에서도, 지원하는 지원자의 입장에서도 AI가 정확히 '어떤 항목에, 어떤 근거로, 어떻게 평가하는지'의 기준이나 방식을 프로그램 판매업체들이 제대로 공개하지 않는다는 점입니다. 여기서도 AI의 불투명성이 있는거죠. 경쟁 및 영업기밀이라는 이유로 이를 자세히 알려주지 않기에 사용자들도 결과의 객관성이나 적정함을 확신할 수 없죠. 이를 판매하는 기업들은 해당 툴이나 프로그램들이 어디까지나 채용에 있어 '보조 도구' 역할을 할 뿐이므로 최종판단은 사용하는 기업과 인사부서가 결정해야 한다고 말합니다. 하지만 과연 정보가 100% 공개되지 않는 프로그램을 사용자들이 올바르게 도구로써 활용할 수 있을까요? 많은 기업들이 AI의 사용에 있어 의사결정 지원이나 통찰을 얻기보다는, 비용과 시간절감이라는 이유로 일방향적인 관점으로만 사용하려고 한다면 개별 인사담당자들도 이런 방향성을 따라갈지도 모릅니다. 그러다보면 본인의 판단보다 AI의 판단을 더 신뢰하여 자칫 다른 결정을 내릴 수도 있을테고요. 억양은 면접에서 지원자의 역량과 자질을 평가하기 위한 요소의 한가지 측면입니다. 다각적이고 종합적이며 때론 추상적일 수도 있는 정성적 평가에 있어 AI가 아무리 많은 기준값들을 담아내려 한다고 해도 인간의 종합적 사고력을 다 따라하기는 어렵죠. 도구로서 사용하라는 말은 기업에게는 편리할지 모르지만, 채용이라는 과정이 지원자 개개인에게는 '생계'와 '업'의 영역이라는 훨씬 폭넓고 심오한 문제임을 감안하면 보조용으로만 AI를 채용에 활용하겠다는 말이 기계의 실수 그리고 그 실수를 신뢰하는 인간의 실수가 일어났을 때 자칫 손쉬운 변명이 되지는 않을지 생각해봅니다. https://www.technologyreview.com/2021/07/07/1027916/we-tested-ai-interview-tools

기계를 멈추자 비로소 보인 것들 영국의 한 아마존 물류창고에서 벌어진 일입니다. 코로나 시기 아마존의 매출은 폭발적으로 증가했습니다. 사람들은 집에서 클릭만 했고, 그 클릭의 무게는 고스란히 창고 노동자들의 몸으로 쏠렸습니다. 더 많은 박스, 더 빠른 속도, 더 긴 노동 시간뿐이었습니다. 노동자들은 기대했습니다. 최소한 시급이 2달러쯤은 오르지 않을까 하고요. 업무 강도와 위험이 그만큼 늘었으니, 그 정도 보상은 상식이라고 믿었습니다. 그러나 회사가 발표한 임금 인상은 고작 0.5달러였습니다. 그날, 노동자들은 레일을 멈췄습니다. 물류 시스템이 멈췄고, 동시에 노조가 생겼습니다. 기계가 멈춘 날이자 질문이 시작된 날이었습니다. 이 장면은 책 <AI는 인간을 먹고 자란다>에 등장합니다. 읽고 나서 한동안 머릿속을 떠나지 않았습니다. 매출은 늘었는데, 왜 임금은 오르지 않는 걸까요? 이 질문은 단순해 보이지만, 사실 우리 사회 전체를 향해 있습니다. 매출 증가는 생산성의 증가를 의미합니다. 생산성이 늘었다는 것은 누군가가 더 많이 일했다는 뜻입니다. 그렇다면 그 결과는 공평하게 나뉘어야 하지 않을까요? 하지만 현실은 그렇지 않습니다. 임금은 거의 움직이지 않습니다. 이유는 명확합니다. 임금의 기준을 정하는 자리에 노동자는 없기 때문입니다. 책은 말합니다. "경쟁의 압력 속에서 방향을 결정하는 사람들은 자본을 소유했거나, 그 자본을 대리하는 이들이다. 반면 노동자는 그 결정에 실질적으로 개입할 권한이 거의 없다." p.245 노동자는 생산의 핵심에 있습니다. 하지만 결정의 중심에는 없습니다. 몸은 현장에 있고, 권한은 회의실에 있습니다. 이 구조는 오늘날 기술 산업 전반을 지배하는 하나의 사고방식과 맞닿아 있습니다. 바로 ‘창업자 중심의 사고방식’입니다. "기술 개발과 투자의 최적 결정자는 창업자와 CEO라는 신념. 민주주의보다 시장을, 규제보다 자율을 더 신뢰하는 사고방식." p.247 이 믿음은 효율적으로 보입니다. 빠르고, 단순하며, 혁신적입니다. 문제는 이 결정들이 언제나 선의로 포장된다는 데 있습니다. 그리고 그 선의가 행사하는 권력이 얼마나 큰지, 스스로 자각하지 못한다는 데 있습니다. "그들은 자신이 행사하는 권력이 얼마나 큰 영향을 미치는지 자각하지 못한 채, 우리의 삶을 바꾼다. 이 무의식적인 권력 행사가 가장 큰 위협이 되기도 한다." p.250~251 선의로 내린 결정 하나가 누군가의 삶을 무너뜨릴 수 있다는 사실을 모른 채 말입니다. 이 지점에서 우리는 흔히 ‘능력주의’를 떠올립니다. “능력이 있으니까 더 많이 받는 것이다.” 그럴듯해 보이는 말입니다. 하지만 이 문장은 쉽게 이렇게 바뀝니다. “적게 받는 건 네 능력이 부족해서다.” 과연 그럴까요? 기술은 이 불합리성을 더 효율적으로 만듭니다. AI는 판단을 빠르게 하고, 관리 비용을 줄이며, 대체 가능성을 높입니다. 그 과정에서 인간 노동은 점점 더 숫자로 환원됩니다. 우리는 흔히 돈이 가치를 측정한다고 믿습니다. 하지만 실은 그렇지 않습니다. 돈은 가치를 판단하는 권한에 가깝습니다. 누군가는 박스를 나르고, 누군가는 숫자를 보고 그 노동의 값을 매깁니다. 문제는 그 판단 권한이 누구에게 있는가 하는 점입니다. 아마존 물류창고에서 노동자들이 멈춘 것은 단지 기계가 아니었습니다. ‘숫자로 환산된 인간의 가치’라는 시스템을 잠시 멈춘 것이었습니다. 몸의 피로와 시간, 위험과 존엄은 0.5달러로 환산될 수 없다는 사실을 보여주기 위해서였습니다. 기계를 멈춘 날 우리는 질문을 보게 됩니다. 임금은 무엇으로 결정되는 걸까요. 능력과 스펙이 전부일까요? 가치를 측정할 권한은 누구에게 있을까요? 그리고 인간의 노동은 정말 그 숫자만큼의 가치일 뿐일까요? 어쩌면 우리가 멈춰야 할 것은 기계가 아니라 숫자로 인간을 재단해온 익숙한 방식인지도 모릅니다. 기계가 멈춘 그날, 우리는 비로소 노동의 값이 아니라 사람의 얼굴을 보게 되었습니다.

@RAMO 님, 언제나 소중한 의견 감사합니다. AI는 어쩌면 자본주의가 시대를 바꾸며 바꿔 온 가면 중 또 하나가 아닐까 생각했습니다. 산업혁명 시대의 제조업을 거쳐, 시장에 상품이 쏟아지자 이를 적재적소에 판매하고 고객에게 접근한 월마트 같은 유통업이 흥성했고, 이후 정보통신 기술의 발달로 통신/컴퓨터/IT산업이 성장해왔습니다. 그리고 가장 최근에는 충분히 퍼진 세계의 정보망과 상호연결성을 기반으로 사용자의 참여를 기반으로 하는 플랫폼/SNS가 흐름을 주도했죠. 이런 흐름 속에서 현재 가장 최근에 생겨난 파도는 AI입니다. 하지만 제조업 시대부터 AI에 이르기까지 자본의 논리는 과거 산업혁명 시대의 어린이 노동자부터 현재의 주석 노동자에 이르기까지 근본적으로 바뀌지 않았다고 생각합니다. 현대사회의 가장 큰 특징은 '깔끔한을 위한 가리기'라고 보는데요. 도시를 보면 쓰레기는 항상 새벽이나 늦은 저녁에 환경미화원들이 정리합니다. 생활과 산업의 온갖 오수는 지하에 있어 우리가 볼 일이 없죠. 우리 눈에 보이지 않는다고 그것들이 존재하지 않는 게 아니죠. 겉으로 보기에 좀 더 깔끔한 로고와 디자인, 대중의 앞에 나와 친근함과 개방성을 드러내는 기업가들은 어쩌면 이런 자본의 논리를 숨기기 위한 '다듬기 작업'일지도 모르겠습니다. 많은 업무와 일자리들이 외주로 떠넘겨지고 하청에 재하청으로 쪼개져 왔죠. 우리는 이제 자본의 크기와 규모 그 복잡성을 알기도 어렵고, 그 민낯조차 제대로 파헤치기도 어려워지고 있습니다. 생성형 AI들의 모니터 뒷편에서는 어떤 자원과 환경, 노동력과 감정이 희생되어야 했는지 알 수 없게 되었고요. 저자들이 말하고자 하는 바는 이 점 같습니다. 자본에 의한 일방적인 독단적 논리가 이제는 첨단기술, 기업가 정신, 혁신, 능력주의라는 보다 교묘한 가면을 뒤집어쓰고 편의성을 앞세워 다가오는 세상 말이죠. 어쩌면 AI에 대해 정말로 걱정해야 할 것은 AI에 대한 의존성이나 인간의 창의성 박탈 같은 문제가 아닌, '현실을 볼 수 없게 만드는 가림막'이지 않을까 생각합니다.

오늘 아침에 드디어 완독을 했습니다. 정말 많은 것을 꺠닫고 생각을 하게 되는 여정이었어요. 그동안은 ai 기술이나 여기서 파생될 기회, 이점 그리고 생태계 등 비교적 중립적인 내용이 들어간 책들을 많이 읽었었는데 이제 이렇게 사회학적으로 풀어내는 책, 그 뒤에 숨은 사람들에 대한 책을 읽어야 할 시점이 온 것이 아닌가 싶기도 하구요. 7장에서는 나이지리아에서 노조 활동가로 활약하는 폴을 비롯한 용기 있는 사람들 덕분에 아프리카에서 데이타 노동자 노조 ACMU 가 결성되고 그들의 활동과 난관 등을 보며 반가운 마음과 안타까운 마음이 함께 들었는데요. 가장 안타까웠던 것은 뒤에 숨은 글로벌 기업들이 잘 드라나지 않는 "글로벌 생산 네트워크의 극단적인 불투명성" 이었어요. 소비자나 시민단체가 노동환경을 개선을 요구하며 불매운동을 하려고 해도 이런 열악한 노동 환경을 방치하는 원청기업?이 숨겨져 있다는 것이 어려움 중에 하나인 것 같네요. 그리고 테크 노동자들이 함께 연대하며 '네버 어게인 서약' 등을 통해 과학기술이 살상 무기, 군사의 목적으로 쓰이는 것을 최대한 감시하고 견제하려는 노력 등에도 응원과 지지를 보내고 싶었어요. 8장까지 마무리를 하면서 소비자에 가까운 저의 무시한 소비 습관과 그 뒤에 숨은 수많은 윤리적 문제들과 노동자들의 어려움을 타자화했던 저의 태도 등을 반성하며 제가 앞으로 무엇을 더 할 수 있을지 더 많은 얘기를 나누고 싶어 졌어요. 공정무역을 지지하는 것처럼 페어워크로 개발된 프로그램이나 제품을 지지하는 것, 비윤리적으로 기술을 쓰고 군사활동에 사용하는 제품에 대한 불매운동, 그리고 규제에 관심을 가지고 지지하는 것등이 우리가 할 수 있는 것이겠죠.