[AI는 인간을 먹고 자란다] 결과물과 가치중립성의 이면

5장에서 언급된 직원 감시 프로그램들에 대해 찾아봤습니다. StandoutCV라는 구직자 및 직장인용 블로그 설립자 Andrew Fennell이 시장에서 가장 많이 쓰이는 50여개의 감시 프로그램들을 분석하고 추적하는 프로젝트에 대한 글인데 주요 내용들만 가져왔습니다. 1) 직원 감시 프로그램별 기능구현 정도 (%는 감시 프로그램 중 해당기능이 구현되어 있는 비율을 의미) - 시간추적 : 96%, 직원이 PC나 노트북을 업무 관련 목적으로 사용한 총 시간을 집계하는 기능 - 실시간 모니터링 : 86%, 직원이 정확히 어떤 작업을 수행중이고 어느 파일에 접근하거나 수정했는지 추적하는 기능 - 업무집중도 확인 : 86%, 직원이 일에 몰입 중이거나 또는 자리를 비웠는지 시간을 측정하는 기능 - 웹사이트 및 앱 사용여부 : 82%, 근무 중 어느 사이트나 앱에 접근했고 얼마나 사용했는지 집계하는 기능 - 화면기록 및 캡처 : 78%, 스크린이 있는 전자기기로 무엇을 조회 중인지 실시간으로 녹화하거나 스크린샷으로 캡처할 수 있는 기능 - 키보드/마우스 추적 : 44%, 마우스의 움직임과 키보드 타자를 수집하는 기능 - 스텔스 모드 : 38%, 직원은 인지하지 못하지만 상급자가 실시간으로 직원들의 전자기기 사용현황을 감시할 수 있는 기능 2) 가장 광범위하게 직원 정보를 수집하는 프로그램들 2021년 조사 당시에는 Teramind가 GPS실시간 추적을 제외한 나머지 추적/감시 기능을 전부 제공하여 압도적이었지만 2023년에는 Veriato Vision이라는 프로그램의 등장으로 두 프로그램이 공동으로 가장 '침투적인' 프로그램으로 꼽혔습니다. Teramind는 GPS추적이 없는 대신 전자기기의 내장스피커를 이용한 대화 녹음/실시간 청취 기능이 있는 반면, Veriato는 그 반대인데요. Teramind는 2022년 당시 12개국에서 약 5,000여 곳의 기업들에게 서비스를 제공했습니다. 주로 이런 직원 감시 프로그램들이 많이 쓰이는 산업은 투자/재무, 법무, 소매업, IT-테크 였으며 일부 공기업이나 공공기관에서도 사용되고 있다고 해요. 3) 실시간 녹음 및 녹화 기능 현재 출시된 직원 감시 프로그램들 중에서는 8%만이 내장 스피커를 통한 실시간 녹음이 가능하다고 합니다. 전체 프로그램에서도 극히 일부만 제공하고 있죠. 하지만 내장 카메라를 이용한 실시간 녹화 기능은 38%로 급증합니다. 이런 감시 프로그램들의 문제는 재택근무나 일터-가정을 자유롭게 오가는 하이브리드 근무를 많이 볼 수 있는 서구권에서는 가정이나 사생활의 영역까지 침범할 우려가 있다는 점입니다. 특히 이들 감시 프로그램 중에는 노트북이나 태블릿PC에 설치가 되어 있어도 직원은 아이콘이나 어떤 형태로든 프로그램이 깔려 있거나 활성화 중이란 걸 알 수 없는 '스텔스 모드'인 경우들이 있다고 해요. 노트북을 탁상이나 책상 위에 놓고 개인적인 용무도 같이 보다 보면 사적 공간에서의 삶과 이동경로 등이 녹음/녹화되지 않는다는 보장이 없는 거죠. 이런 기능들이 AI와 결합하게 된다면 직원의 행동경로나 행동양상에 대한 분석의 명분으로 행해질 수도 있을 테고요. https://standout-cv.com/stats/employee-monitoring-study#key-findings

2021년 MIT 저널리스트들이 올린 기사에서는 마이인터뷰(MyInterview)와 큐리어스씽(Curious Thing)이라는 AI기반 채용분석 툴을 사용하고 분석한 후기가 있는데요. 저널리스트 겸 실험의 참가자들은 가상의 사무직 공고를 올리고, 참가자 중 한 명이 지원을 하여 영어로 화상면접을 진행했습니다. 인터뷰 질문을 스크린으로 상대에게 보여주면 그에 맞게 대답하는 식이었는데요. 일부러 실험 참가자는 처음부터 끝까지 독일어로, 그것도 위키피디아에 있는 인터뷰와 관련없는 정보를 읊는 방식으로 인터뷰를 했음에도 큐리어스씽에서는 9점 만점 중 6점을, 마이인터뷰는 실험 참가자가 직무에 적합한 수준이 73%라고 평가했습니다. 마이인터뷰의 경우에는 다른 사람들이 영어로 제대로 면접을 봤는데도 실험 참가자의 점수는 상위 절반에 들었다고 해요. 마이인터뷰는 면접 후 대화내용을 대본으로 자동으로 기록/저장하는 기능이 있어 추출해봤는데 AI가 독일어를 영어로 옮겨 적었다고 합니다. 그러나 대본을 뽑아본 내용은 서순이나 단어, 문법, 맥락 무엇하나 말이 안되는 문장의 조합으로 사실상 아무 말이나 적은 수준이었다네요. 이런 결과에도 불구하고 실험 참가자의 점수가 부여되는 이유는 AI 면접 툴이 면접자의 억양을 평가요소로 보기 때문이었다고 합니다. 독일어로, 전혀 엉뚱한 내용을 말해도 그 억양이 유창하고 자연스러우면 점수가 매겨졌던 거죠. 비록 2021년 실험이었기에 지금은 많은 개선과 변경이 있겠지만 이런 실험에도 보듯 채용면접 툴에 적용된 AI기술은 완전성이 상당히 낮습니다. 이런 프로그램이 문제인 이유는 해당 툴을 사용하는 기업이나 면접관의 입장에서도, 지원하는 지원자의 입장에서도 AI가 정확히 '어떤 항목에, 어떤 근거로, 어떻게 평가하는지'의 기준이나 방식을 프로그램 판매업체들이 제대로 공개하지 않는다는 점입니다. 여기서도 AI의 불투명성이 있는거죠. 경쟁 및 영업기밀이라는 이유로 이를 자세히 알려주지 않기에 사용자들도 결과의 객관성이나 적정함을 확신할 수 없죠. 이를 판매하는 기업들은 해당 툴이나 프로그램들이 어디까지나 채용에 있어 '보조 도구' 역할을 할 뿐이므로 최종판단은 사용하는 기업과 인사부서가 결정해야 한다고 말합니다. 하지만 과연 정보가 100% 공개되지 않는 프로그램을 사용자들이 올바르게 도구로써 활용할 수 있을까요? 많은 기업들이 AI의 사용에 있어 의사결정 지원이나 통찰을 얻기보다는, 비용과 시간절감이라는 이유로 일방향적인 관점으로만 사용하려고 한다면 개별 인사담당자들도 이런 방향성을 따라갈지도 모릅니다. 그러다보면 본인의 판단보다 AI의 판단을 더 신뢰하여 자칫 다른 결정을 내릴 수도 있을테고요. 억양은 면접에서 지원자의 역량과 자질을 평가하기 위한 요소의 한가지 측면입니다. 다각적이고 종합적이며 때론 추상적일 수도 있는 정성적 평가에 있어 AI가 아무리 많은 기준값들을 담아내려 한다고 해도 인간의 종합적 사고력을 다 따라하기는 어렵죠. 도구로서 사용하라는 말은 기업에게는 편리할지 모르지만, 채용이라는 과정이 지원자 개개인에게는 '생계'와 '업'의 영역이라는 훨씬 폭넓고 심오한 문제임을 감안하면 보조용으로만 AI를 채용에 활용하겠다는 말이 기계의 실수 그리고 그 실수를 신뢰하는 인간의 실수가 일어났을 때 자칫 손쉬운 변명이 되지는 않을지 생각해봅니다. https://www.technologyreview.com/2021/07/07/1027916/we-tested-ai-interview-tools

기계를 멈추자 비로소 보인 것들 영국의 한 아마존 물류창고에서 벌어진 일입니다. 코로나 시기 아마존의 매출은 폭발적으로 증가했습니다. 사람들은 집에서 클릭만 했고, 그 클릭의 무게는 고스란히 창고 노동자들의 몸으로 쏠렸습니다. 더 많은 박스, 더 빠른 속도, 더 긴 노동 시간뿐이었습니다. 노동자들은 기대했습니다. 최소한 시급이 2달러쯤은 오르지 않을까 하고요. 업무 강도와 위험이 그만큼 늘었으니, 그 정도 보상은 상식이라고 믿었습니다. 그러나 회사가 발표한 임금 인상은 고작 0.5달러였습니다. 그날, 노동자들은 레일을 멈췄습니다. 물류 시스템이 멈췄고, 동시에 노조가 생겼습니다. 기계가 멈춘 날이자 질문이 시작된 날이었습니다. 이 장면은 책 <AI는 인간을 먹고 자란다>에 등장합니다. 읽고 나서 한동안 머릿속을 떠나지 않았습니다. 매출은 늘었는데, 왜 임금은 오르지 않는 걸까요? 이 질문은 단순해 보이지만, 사실 우리 사회 전체를 향해 있습니다. 매출 증가는 생산성의 증가를 의미합니다. 생산성이 늘었다는 것은 누군가가 더 많이 일했다는 뜻입니다. 그렇다면 그 결과는 공평하게 나뉘어야 하지 않을까요? 하지만 현실은 그렇지 않습니다. 임금은 거의 움직이지 않습니다. 이유는 명확합니다. 임금의 기준을 정하는 자리에 노동자는 없기 때문입니다. 책은 말합니다. "경쟁의 압력 속에서 방향을 결정하는 사람들은 자본을 소유했거나, 그 자본을 대리하는 이들이다. 반면 노동자는 그 결정에 실질적으로 개입할 권한이 거의 없다." p.245 노동자는 생산의 핵심에 있습니다. 하지만 결정의 중심에는 없습니다. 몸은 현장에 있고, 권한은 회의실에 있습니다. 이 구조는 오늘날 기술 산업 전반을 지배하는 하나의 사고방식과 맞닿아 있습니다. 바로 ‘창업자 중심의 사고방식’입니다. "기술 개발과 투자의 최적 결정자는 창업자와 CEO라는 신념. 민주주의보다 시장을, 규제보다 자율을 더 신뢰하는 사고방식." p.247 이 믿음은 효율적으로 보입니다. 빠르고, 단순하며, 혁신적입니다. 문제는 이 결정들이 언제나 선의로 포장된다는 데 있습니다. 그리고 그 선의가 행사하는 권력이 얼마나 큰지, 스스로 자각하지 못한다는 데 있습니다. "그들은 자신이 행사하는 권력이 얼마나 큰 영향을 미치는지 자각하지 못한 채, 우리의 삶을 바꾼다. 이 무의식적인 권력 행사가 가장 큰 위협이 되기도 한다." p.250~251 선의로 내린 결정 하나가 누군가의 삶을 무너뜨릴 수 있다는 사실을 모른 채 말입니다. 이 지점에서 우리는 흔히 ‘능력주의’를 떠올립니다. “능력이 있으니까 더 많이 받는 것이다.” 그럴듯해 보이는 말입니다. 하지만 이 문장은 쉽게 이렇게 바뀝니다. “적게 받는 건 네 능력이 부족해서다.” 과연 그럴까요? 기술은 이 불합리성을 더 효율적으로 만듭니다. AI는 판단을 빠르게 하고, 관리 비용을 줄이며, 대체 가능성을 높입니다. 그 과정에서 인간 노동은 점점 더 숫자로 환원됩니다. 우리는 흔히 돈이 가치를 측정한다고 믿습니다. 하지만 실은 그렇지 않습니다. 돈은 가치를 판단하는 권한에 가깝습니다. 누군가는 박스를 나르고, 누군가는 숫자를 보고 그 노동의 값을 매깁니다. 문제는 그 판단 권한이 누구에게 있는가 하는 점입니다. 아마존 물류창고에서 노동자들이 멈춘 것은 단지 기계가 아니었습니다. ‘숫자로 환산된 인간의 가치’라는 시스템을 잠시 멈춘 것이었습니다. 몸의 피로와 시간, 위험과 존엄은 0.5달러로 환산될 수 없다는 사실을 보여주기 위해서였습니다. 기계를 멈춘 날 우리는 질문을 보게 됩니다. 임금은 무엇으로 결정되는 걸까요. 능력과 스펙이 전부일까요? 가치를 측정할 권한은 누구에게 있을까요? 그리고 인간의 노동은 정말 그 숫자만큼의 가치일 뿐일까요? 어쩌면 우리가 멈춰야 할 것은 기계가 아니라 숫자로 인간을 재단해온 익숙한 방식인지도 모릅니다. 기계가 멈춘 그날, 우리는 비로소 노동의 값이 아니라 사람의 얼굴을 보게 되었습니다.

@RAMO 님, 언제나 소중한 의견 감사합니다. AI는 어쩌면 자본주의가 시대를 바꾸며 바꿔 온 가면 중 또 하나가 아닐까 생각했습니다. 산업혁명 시대의 제조업을 거쳐, 시장에 상품이 쏟아지자 이를 적재적소에 판매하고 고객에게 접근한 월마트 같은 유통업이 흥성했고, 이후 정보통신 기술의 발달로 통신/컴퓨터/IT산업이 성장해왔습니다. 그리고 가장 최근에는 충분히 퍼진 세계의 정보망과 상호연결성을 기반으로 사용자의 참여를 기반으로 하는 플랫폼/SNS가 흐름을 주도했죠. 이런 흐름 속에서 현재 가장 최근에 생겨난 파도는 AI입니다. 하지만 제조업 시대부터 AI에 이르기까지 자본의 논리는 과거 산업혁명 시대의 어린이 노동자부터 현재의 주석 노동자에 이르기까지 근본적으로 바뀌지 않았다고 생각합니다. 현대사회의 가장 큰 특징은 '깔끔한을 위한 가리기'라고 보는데요. 도시를 보면 쓰레기는 항상 새벽이나 늦은 저녁에 환경미화원들이 정리합니다. 생활과 산업의 온갖 오수는 지하에 있어 우리가 볼 일이 없죠. 우리 눈에 보이지 않는다고 그것들이 존재하지 않는 게 아니죠. 겉으로 보기에 좀 더 깔끔한 로고와 디자인, 대중의 앞에 나와 친근함과 개방성을 드러내는 기업가들은 어쩌면 이런 자본의 논리를 숨기기 위한 '다듬기 작업'일지도 모르겠습니다. 많은 업무와 일자리들이 외주로 떠넘겨지고 하청에 재하청으로 쪼개져 왔죠. 우리는 이제 자본의 크기와 규모 그 복잡성을 알기도 어렵고, 그 민낯조차 제대로 파헤치기도 어려워지고 있습니다. 생성형 AI들의 모니터 뒷편에서는 어떤 자원과 환경, 노동력과 감정이 희생되어야 했는지 알 수 없게 되었고요. 저자들이 말하고자 하는 바는 이 점 같습니다. 자본에 의한 일방적인 독단적 논리가 이제는 첨단기술, 기업가 정신, 혁신, 능력주의라는 보다 교묘한 가면을 뒤집어쓰고 편의성을 앞세워 다가오는 세상 말이죠. 어쩌면 AI에 대해 정말로 걱정해야 할 것은 AI에 대한 의존성이나 인간의 창의성 박탈 같은 문제가 아닌, '현실을 볼 수 없게 만드는 가림막'이지 않을까 생각합니다.

오늘 아침에 드디어 완독을 했습니다. 정말 많은 것을 꺠닫고 생각을 하게 되는 여정이었어요. 그동안은 ai 기술이나 여기서 파생될 기회, 이점 그리고 생태계 등 비교적 중립적인 내용이 들어간 책들을 많이 읽었었는데 이제 이렇게 사회학적으로 풀어내는 책, 그 뒤에 숨은 사람들에 대한 책을 읽어야 할 시점이 온 것이 아닌가 싶기도 하구요. 7장에서는 나이지리아에서 노조 활동가로 활약하는 폴을 비롯한 용기 있는 사람들 덕분에 아프리카에서 데이타 노동자 노조 ACMU 가 결성되고 그들의 활동과 난관 등을 보며 반가운 마음과 안타까운 마음이 함께 들었는데요. 가장 안타까웠던 것은 뒤에 숨은 글로벌 기업들이 잘 드라나지 않는 "글로벌 생산 네트워크의 극단적인 불투명성" 이었어요. 소비자나 시민단체가 노동환경을 개선을 요구하며 불매운동을 하려고 해도 이런 열악한 노동 환경을 방치하는 원청기업?이 숨겨져 있다는 것이 어려움 중에 하나인 것 같네요. 그리고 테크 노동자들이 함께 연대하며 '네버 어게인 서약' 등을 통해 과학기술이 살상 무기, 군사의 목적으로 쓰이는 것을 최대한 감시하고 견제하려는 노력 등에도 응원과 지지를 보내고 싶었어요. 8장까지 마무리를 하면서 소비자에 가까운 저의 무시한 소비 습관과 그 뒤에 숨은 수많은 윤리적 문제들과 노동자들의 어려움을 타자화했던 저의 태도 등을 반성하며 제가 앞으로 무엇을 더 할 수 있을지 더 많은 얘기를 나누고 싶어 졌어요. 공정무역을 지지하는 것처럼 페어워크로 개발된 프로그램이나 제품을 지지하는 것, 비윤리적으로 기술을 쓰고 군사활동에 사용하는 제품에 대한 불매운동, 그리고 규제에 관심을 가지고 지지하는 것등이 우리가 할 수 있는 것이겠죠.

@Alice2023 님 완독 축하드립니다! 🎉 말씀하신 대로 현재 AI관련하여 각종 매체에서 소개하는 내용들은 주로 AI의 사용법, 기술적 이해, 기업가들에 대한 조명 위주로 약간씩 방향성만 다를 뿐 AI 그 자체에 주목하는 주제들이 많죠. 반면에 이번 책은 AI의 제작부터 투자, 실제 사용에 이르기까지 모든 산업과 사회의 영역에서 무엇이 그 이면에서 투입되고 희생되는지를 다룬다는 점에서 한 번쯤 생각해 봐야 할 내용이죠. AI도 결국 비트코인이나 NFT, 메타버스 처럼 기업과 자본 투자세력이 밀고 싶은 하나의 '상품'에 불과하며, 단지 차이라면 AI는 대중과 산업에 있어 실용성과 실현가능성을 설득하는 데 성공했다는 점이라는 지적도 인상 깊었고요. 8장의 내용은 각자의 감상에 따라서는 일반론적이고 뻔한 말이 아니냐고 생각할 수도 있겠지만, 저는 오히려 AI가 그만큼 우리 세상 전반에 이미 깊게 뿌리내리는 중이기에 이렇게 광범위하고 포괄적인 대안을 제시하는 거라고 느꼈습니다. 경제나 일자리를 넘어 환경과 예술, 제3세계에 이르기까지 AI가 인간만이 아닌 우리의 세상 곳곳에 영향력을 행사할 수 있는 기술이라는 걸 여러 장에서 보여줬죠. 그렇기에 단지 정부나 정치인의 규제에만 의존할 것이 아니라, 시민이자 노동자로서 그리고 결국에는 AI시대의 소비자로서 살아갈 우리 자신이 개발-투자-사용의 모든 단계에서 기업만의 독단적 참여를 막아야 한다는 의미로 이해했습니다. 그렇게 해야만 AI가 기술의 탈을 쓰고 가리고 있는 '구조적 모호함'을 세상에 드러낼 수 있을 거고요.