[AI는 인간을 먹고 자란다] 결과물과 가치중립성의 이면

은화

“ 흔히 우리는 AI 개발이라고 하면, 팔로알토나 멘로 파크에 위치한 에어컨 잘 나오고 번지르르한 사무실에서 일하는 엔지니어들을 떠올린다. 그러나 AI 훈련에 필요한 약 80퍼센트의 시간이 데이터세트 주석 작업에 쓰이고 있다. 자율주행차량, 극소 수술기기, 무인 드론과 같은 첨단기술은 모두 굴루 같은 곳에서 시작된다. ”

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.54, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

“ 줄리안 포사다 예일대학교 교수는 베네수엘라의 경제 위기 속에서 데이터 주석 노동을 하는 가족에 대한 연구를 진행했다. 그는 팬데믹 이후 일자리를 잃은 부모가 워크허브라는 플랫폼에서 하루 종일 두 대의 컴퓨터로 일하며 생계를 유지하는 이야기를 소개한다. 이 가족은 식사를 준비할 때를 제외하고는 쉬는 시간 없이 일했다. 부모가 작업을 쉴 때면, 자녀들이 교대로 컴퓨터 앞에 앉는다. 이렇게 항상 누군가가 일하는 상태를 유지했다. ”

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.56~57, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

사람도 자기자신의 경험과 데이터 안에서만 반복적으로 판단을 내리면 사고가 갇히고 좁아진다.

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.62, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

“ ‘반복의 저주’이라는 제목으로 유명한 논문에 따르면, 연구자들은 챗봇이 생산한 데이터로 훈련한 LLM에서 모델 붕괴를 야기하는 ‘돌이킬 수 없는 결함’을 발견했다고 밝힌다. 모델이 스스로 생성한 데이터를 반복적으로 학습할 경우, 특정 표현이나 패턴이 계속 중첩되면서 데이터가 점점 단순화되고, 그 결과 모델의 다양성과 창의성이 저하되는 문제가 발생할 수 있다고 경고하고 있다. ”

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.62, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

우간다의 노동자들이나 데이터 주석 기업들이 메타, 테슬라 같은 기업들과 대등한 조건으로 협상하거나 거래할 수 있다고 보는 것은 완전히 비현실적인 판단이다.

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.65, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

“ 리는 윤리와 안전 문제를 매우 중요하게 생각하지만, 현실적으로 데이터 주석 과정에서 나타나는 다양한 문제들을 해결할 자원을 충분하게 갖고 있지 않다. 리의 팀은 매일같이 특정 답변을 어떻게 구성해야 할지 윤리적 고민에 빠지지만, 회사에는 이를 명확히 정리해줄 윤리 정책조차 제대로 마련되어 있지 않다. 고객들에게는 모델을 안전하게 사용하는 방법이나 사용이 제한되는 사례에 대한 지침이 제공되지만, 정작 AI를 훈련하는 과정에서 윤리적 문제에 맞닥뜨리는 데이터 주석 작업자들은 알아서 판단해야 했다. 그래서 주석자들이 종종 리에게 질문을 던지기도 하지만, 그녀는 업무가 너무 많아 매번 답변할 여력이 없다. 게다가 리 자신도 모든 윤리적 이슈에 대해 충분한 지식이나 확신을 가지고 있지 않다. ”

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.76~77, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

AI 시스템은 우리가 ‘사유’라고 부를 만한 과정 없이도, 사고와 비슷한 결과를 만들어 낼 수 있다.

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.81, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

“ 따라서 LLM에는 의식적인 사고도 진정한 의미에서의 이해도 존재하지 않는다. 모델은 언어의 형태만을 처리할 뿐, 그 사회적 의미는 따지지 않는다. 인간은 질문에 답할 때, 사회가 어떻게 작동하는지에 대한 깊은 맥락적 지식과 이해를 바탕으로 답변을 구성한다. 반면, LLM은 주어진 데이터의 기호간의 통계적 관계만을 분석할 뿐, 그 기호들이 실제 세계에서 무엇을 의미하는지에 대한 참조점을 전혀 갖고 있지 않다. ”

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.82~83, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

“ GPT-4의 성공은 강화 학습을 통해 AI가 만드는 결과물이 더욱 유용해질 수 있음을 보여주었다. 하지만 인류 전체에게 이익을 주는 안전하고 투명한 인공지능을 개발하겠다는 본래의 설립 취지와 달리, 오픈AI는 GPT-4 훈련 과정의 세부적인 정보를 공개하지 않아 AI 연구 분야의 투명성을 오히려 후퇴시킨다는 비판을 받고 있다. ”

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.84~85, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

“ 현재까지 LLM이 초래할 수 있는 위험은 해킹을 돕거나, 딥페이크를 만들고, 가짜 뉴스를 퍼트리는 것까지 다양하지만, 기계가 인간을 배신하는 영화 ⟨터미네이터⟩나 ⟨엑스 마키나⟩ 같은 시나리오는 현실과 거리가 멀다. ”

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.94, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

“ AI 연구소를 구성하는 구체적인 인구통계학 자료는 없지만, 인공지능 분야를 떠받치고 있는 고등교육 통계를 보면 AI 업계는 압도적으로 ‘백인’과 ‘남성’이 주도하는 분야다. 스탠퍼드 AI 인덱스에 따르면, 2021년 신규 AI 박사 학위 취득자의 78.7퍼센트가 남성이었고, 북미 지역의 컴퓨터 과학, 토목 공학, 정보학 교수진 중 남성 비율은 75.8퍼센트에 달했다. (…) 이처럼 LLM이 특정 인구집단을 배제한 채 개발된다면, 기존의 사회적 위계를 더욱 강화하고, 현재의 불평등한 구조를 유지하는 역할을 할 가능성이 크다. ”

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.100~101, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

“ 머신러닝 엔지니어들과 AI 정책 연구자들의 지리적 위치와 이념적 배경 역시 AI에 영향을 미치는 요인이다. 전 세계에서 가장 크고 영향력 있는 AI 연구소 대부분은 실리콘밸리에 있다. 이곳은 신자유주의 경제학, 자유지상주의, 극단적 개인주의, 반노동조합 문화가 지배하는 곳이다. (…) 이 문제는 단순히 데이터세트의 편향성을 넘어, AI 개발 방향을 결정할 수 있는 권력의 불평등 문제와 직결된다. ”

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.100~101, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

“ 이처럼 AI는 온라인 플랫폼의 사용자 구성, 데이터세트의 생성과 선별, 모델 훈련 방식, AI 정책 등 전 과정에서 특정한 헤게모니의 영향을 받고 있다. 특히 백인, 남성, 미국 중심의 글로벌 기술 엘리트들이 AI의 설계와 활용 방식에 과도한 영향력을 행사하고 있으며, 그 결과 AI는 이들의 관점을 반영하고, 그들의 관심사에 맞춰 개발되고 있다. ”

『AI는 인간을 먹고 자란다 - 인공지능 신화에 가려진 보이지 않는 노동자들』 p.101, 마크 그레이엄.제임스 멀둔.캘럼 캔트 지음, 김두완 옮김

문장모음 보기

은화

AI 또는 테크 기업에 유독 남성 직원과 창업자들이 많은 이유는 무엇일까요. 특정한 산업은 특정한 성별의 진입을 차단하거나 성공을 막는 어떤 요인이 있어서 일까요? 아니면 단지 남성들이 개발이나 프로그래밍에 더 흥미를 느끼는 경향성이 있는 걸까요? 아니면 단지 우연에 불과할까요? 프로그래머나 개발자 하면 떠오르는 몇 가지 인상이나 관념 중에는 늦은 시간까지 야근을 하거나 장기간 숙식을 회사에서 해결하며 개발을 하는 모습이 있습니다. 초반에 추천드린 책인 <일은 당신을 사랑하지 않는다>에서는 테크 기업과 IT산업, 프로그래머 직군이 유독 남성 종사자가 많은 이유를 프로그래머라는 직업의 초창기 환경이 굳어지면서 만들어진 '신화'로 해석합니다. 1960년대 아르파넷 개발 당시 참여한 프로그래머들의 평균 근무시간은 하루 16시간이었다고 합니다. 개발자들은 자신들의 아르파넷 개발상의 문제를 해결하기 위해 각자의 아이디어를 실현하면서 장시간 노동을 이어갔고, 그 과정에서 게임이나 이메일의 개념이 도입되기도 했습니다. 이 때 아르파넷 개발에 참여한 종사자들은 전부 남성이었는데 이들에 의한 인터넷 개념의 도입은 이후 IT업계에 종사하려면 '자기 일을 재밌어 하고 자발적으로 자기 시간을 장시간 바쳐 근무하는 개발자'라는 열정신화가 업계에 뿌리내렸다고 저자는 분석합니다. 그리고 이 과정에서 초창기의 남성으로 구성된 멤버들의 특성이 이후 정보통신과 IT산업에서 남성성과 결부되었다고 보고요. 60년대에 시작된 이런 경향성은 이후 70~80년대를 거치며 인텔과 애플이 개인용 컴퓨터, 즉 PC 보급이 확대되면서 굳어져 갔다고 분석합니다. 상대적으로 남성 종사자가 많았고 그로 인해 컴퓨터에 관심을 갖는 남성도 많았던 시대 분위기에서 기업들은 컴퓨터와 게임을 남자아이들을 타겟으로 하는 광고에 집중합니다. 점차 남자가 곧 미래의 컴퓨터와 전자장비의 수요자이자 프로그래머라는 개념은 닭이 먼저냐 알이 먼저냐처럼 구분이 불가능한 순환관계가 되어 서로가 서로의 확산을 부추깁니다. 남성을 중심으로 한 기업들의 PC보급은 자연스레 컴퓨터에 대한 접근성 그리고 활용능력에 있어 성별에 따른 차이를 만들어내면서 계층/직업장벽이 곧 성별장벽으로 이어졌다고 보고 있습니다.

은화

“ (1970~1980년대) 이때쯤 컴퓨터나 컴퓨터 게임은 남자아이들(혹은 늘 아이처럼 사는 남자들)을 위한 장난감으로 깊게 자리 잡혀 있었다. 여자들의 컴퓨터공학 과정 등록률은 1980년대 40퍼센트에서 현재 20퍼센트 이하로 떨어졌고, 초창기에는 주로 컴퓨터 게임에 알맞게 제조된 개인용 컴퓨터는 어린 남자아이들에게 광고되고 판매되며 미래의 프로그래머들은 남자들이라는 개념을 더 굳게 다져갔다. 대중문화도 이러한 흐름을 알아채고 백인 남자 컴퓨터 괴짜들을 영웅시했다. 개인용 컴퓨터가 없다면 누구든 컴퓨터 능력이 뒤처질 수밖에 없었고, 결국 성별 장벽과 함께 계층 장벽이 세워졌다. ”

『일은 당신을 사랑하지 않는다 - 우리를 지치고 외롭게 만드는 사랑하는 일에 대하여』 p.378, 세라 자페 지음, 이재득 옮김

문장모음 보기

은화

하지만 재밌는 건 최초의 현대적 민간 컴퓨터로 평가 받는 에니악의 프로그래머 겸 정비/실행을 담당한 인원들은 여성이었다는 점입니다. 에니악의 물리적 개발 자체는 남자 공학도들이 주도했지만 실제 에니악을 프로그래밍하고 작동하기 위한 인원도 필요했는데 1945년 6명의 여성이 전문적인 훈련을 받아 프로그래머가 되었습니다. 우리의 현재의 인식과는 별개로 초기의 컴퓨터 산업과 업계, 특히 프로그래머는 여성들이 진출하고 활약하던 영역인 겁니다. 이들만이 아니더라도, 과거 영화를 보면 무수히 많은 여성들이 사무실이나 공간에 앉아 계산기나 주판을 두드려 전문적인 계산을 하던 광경이 가끔 나오죠. 컴퓨터의 어원 Computer가 계산을 하는 사람, 즉 계산수를 의미하며 과거 수학을 전공한 여성들이 '컴퓨터'로서 활약했던 역사를 생각해보면 IT와 컴퓨터는 사실 여성들의 기여가 있던 셈입니다.

은화

“ 1945년 여섯 명의 여성이 최초로 프로그래밍 훈련을 받았다. 이들은 장 제닝스Jean Jennings, 마를린 멜처Marlyn Wescoff, 루스 타이텔바움Ruth Lichterman, 베티 홀버튼Betty Snyder, 프랜시스 스펜스Frances Bilas, 케이 맥널티Kay McNulty였다. 그들은 군인들과 어울려 정치를 주제로 이야기하기를 나누었고, 복잡한 기계인 에니악에 적용할 다양한 미분방정식을 계산하며 에니악을 개발한 남자 공학자들의 지식은 물론 에니악의 내부 작동방식을 익혀갔다. 제닝스는 이후에 가로세로 2.5미터에 달하는 거대한 크기에, 수천 개의 진공관, 케이블, 스위치를 달고 있던 에니악을 “프로그램하기 정말 힘든 개자식”이라고 했다. ”

『일은 당신을 사랑하지 않는다 - 우리를 지치고 외롭게 만드는 사랑하는 일에 대하여』 p.371, 세라 자페 지음, 이재득 옮김

문장모음 보기

은화

책의 서문과 1장에서 제기되고 있는 데이터 주석 작업자들의 열악한 근무환경과 심리적 트라우마, 정신적 상해는 현재도 계속 진행되고 있는 문제입니다. 아프리카에서는 23년 케냐에 이어 올해 4월 가나에서도 주석 작업자들이 메타를 상대로 두 번째로 소송을 제기했고요. 주석 작업자들은 공통적으로 극단적인 폭력적 장면이나 아동학대/성폭행이 담긴 영상이나 사진에 반복 노출되었고 이로 인해 극심한 우울증과 불안증세, 불면증을 호소하고 있습니다. 작업자들이 아무리 올라오는 게시물들을 검수하더라도 이 문제는 반복될 수 밖에 없는데요. 내전과 무장조직 충돌, 전쟁 등으로 인해 극단적인 폭력과 고문이 담긴 영상이 올라오는 아프리카의 특성이 배경에 깔려있기 때문입니다. 즉 어느 국가에서 어느 작업자들을 동원하든, 그들의 규모가 얼마나 되고 어떠한 보상을 하건 상관없이 누군가가 정신적/심리적 상해를 입어야만 하는 고통의 외주화와 책임전가가 시스템의 일부로 자리 잡고 있는 셈입니다. 메타 또는 그들이 외주/하청을 맡긴 현지 대행업체들이 작업자들에게 지급하는 급여는 최소 임금 수준인데다 작업량과 기준을 달성하지 못하면 임금에서 공제되기 때문에 추가근로나 특근이 사실상 반강제되는 문제도 있다고 해요. 이로 인해 작업자들은 더 오래, 자신의 의지와 반하는 노동을 해야 하고 더 장시간 정신적 위험에 노출될 수밖에 없습니다. 근무 환경 자체도 감시와 통제의 연장으로 작업자들이 화장실을 가는 경우에도 관리자가 뒤에서 따라와 정말 화장실에 가는지, 얼마나 머무는지를 확인했다고 합니다. 가디언지에서 분석한 이곳 직원들의 급여 체계는 최소 월 1,300 가나 세디화(약 64파운드)에서 시작해 개인 성과 정도에 따라 4,900 세디화(약 243파운드)까지 받을 수 있지만 가나의 수도에서 살기에는 여전히 다소 부족한 액수라고 하네요. <가나의 메타 주석 작업자가 겪어야 했던 끔찍한 경험들> https://www.theguardian.com/technology/2025/apr/27/meta-moderator-on-the-cost-of-viewing-beheadings-child-abuse-and-suicide <직원 Solomon이 점차 피폐해져가는 과정> - 내용이 다소 자극적일 수 있습니다. https://www.theguardian.com/technology/2025/apr/27/meta-moderator-on-the-cost-of-viewing-beheadings-child-abuse-and-suicide

은화

케냐의 Samasource(줄여서 Sama)라는 외주업체에서 주석 작업자로 근무했던 Nathan Nkunzimana는 여성이 살해 당하는 영상과 더불어 어린아이가 성적으로 학대 당하는 게시물을 검수 때문에 지켜봐야 했다고 합니다. 자신 외에도 수많은 작업장의 직원들이 때때로 이런 게시물들 때문에 그 자리에서 눈물을 흘리거나 비명을 지르기도 했다고 하고요.. 이곳에서 근무했던 작업자 중 약 200여명이 약 16억 달러의 보상을 요구하며 메타를 상대로 소송을 진행하고 있습니다. Nkunzimana의 인터뷰가 기억에 남아서 번역을 해서 적어봅니다. "페이스북 페이지를 둘러 보고 여기저기 돌아다니면서 전혀 불쾌한 경험이 없었다면 저 같은 사람들이 그 똑같은 스크린의 화면을 보며 검수하고 있기 때문입니다. 주석 작업자들은 전장의 군인과도 같아 페이스북 사용자들을 대신해 각종 해로운 컨텐츠라는 총알을 맞는 셈입니다." "처음에는 공동체를 위해 영웅과도 같은 일을 한다는 자부심이 있었습니다. 하지만 자극적인 영상들에 노출될 때마다 고향의 정치적/인종적 분쟁으로부터 달아났던 과거가 되살아나곤 했습니다. 작업장에는 휴대폰 같은 개인 소지물을 들고 올 수 없었고 일터에서 경험하거나 겪은 일을 외부에 유출해서는 안된다는 비공개 동의서에 서명해야 했습니다." "일이 끝나고 집에 돌아오면 완전히 지쳐버려 침실에 들어가 문을 잠그고 하루 종일 틀어박혀 그 날 본 기억을 잊으려고 노력했습니다. 가족들은 제가 어떤 일터에서 어떤 상황을 겪는지 전혀 상상도 못합니다. 최근에는 아이가 저에게 찾아와 왜 일을 그만뒀냐며, 왜 더이상 일을 하지 않아 학교에 갈 돈을 마련할 수 없는 거냐며 묻기 때문에 질문을 피하려고 방에서 나오지도 않습니다." <2023년 케냐 주석 작업자의 사례> https://www.nbcnewyork.com/news/national-international/facebook-content-moderators-in-kenya-call-the-work-torture-their-lawsuit-may-ripple-worldwide/4463454/?amp=1

은화

책과 기사에서는 메타의 사례가 많이 나오지만 사실 주석 작업자들의 피해는 이미 SNS기업 전반에 퍼진 사회문제로 봐야 합니다. 올해 3월, 케냐에서는 동영상 플랫폼 '틱톡(Tiktok)' 컨텐츠 검수를 담당하던 나이지리아 출신 여직원(Ladi Anzaki Olubunmi)이 자살하는 사고가 벌어지기도 했습니다. 자살 사유나 유서는 아직까지도 확인되지 않았지만 동료들은 Olubunmi가 장기간 고향에 가지 못하고 스트레스를 받아왔다고 말했는데요. 3년 전 케냐로 이주한 후 고향에 방문한 건 딱 한 번 뿐이었다고 합니다. 케냐의 외주업체 Teleperformance Kenya에서 일하는 주석 작업자 중 약 100여명 이상이 나이지리아 출신이지만 이들은 외국인 취업 허가증을 발급 받지 못했다고 해요. 이로 인해 회사에서 연1회 복지 차원에서 제공하는 항공권 티켓을 받아도 고향에 갈 수 없는 경우가 대부분이랍니다. Olubunmi의 가족은 그녀의 시신을 고향으로 이송할 재정적 여력이 없기에 케냐 나이로비 현지의 수도원에서 장례를 치룰 것을 부탁했다고 합니다. https://apnews.com/article/kenya-content-moderators-facebook-tik-tok-aa8cd8bd993c38d4701a64cfb7cd8ee6

책 꽂기

문장 수집

사진 등록

작성

글타래

화제 모음

지정된 화제가 없습니다