새로운 질서와 규칙, 그 너머를 보다

한 자전거 라이더가 앱을 개발한 이야기로부터 시작해 보자. 모두들 알고 있듯 플랫폼 배달 서비스는 AI 알고리즘을 통해 라이더의 배차와 요금을 자동으로 관리한다. 언뜻 보기엔 효율적이고 정밀하게 작동하는 시스템처럼 보인다. 그러나 우버 알고리즘이 배달 라이더에게 배송에 대한 적정한 돈을 지급하지 않는다는 사실이 암암리에 알려지기 시작했다. 그래서 이를 역으로 감시하기 위해 우버 알고리즘이 계산한 이동 거리를 확인할 수 있는 ‘우버치트(Uber cheats)’라는 크롬 확장프로그램을 개발, 공유했다. 이 프로그램을 배포한 사람은 자전거를 좋아하는 라이더이자 개발자였다. 우버 측은 알고리즘의 버그라고 해명했지만, 이는 사실 알고리즘 작동 방식 자체가 불투명하다는 것에서 오는 문제이다. 이처럼 알고리즘은 정확성의 외피를 두르고 있지만, 조작 가능성과 오류를 내포할 수 있으며, 이는 누군가에게는 이익이 또 다른 누군가에게는 해악의 피드백으로 작동한다. 사회 시스템 속 알고리즘의 삽입이 가속화될수록 우리는 이에 대한 의존도는 높아지고, 세상은 이때까지와는 다른 방식의 불투명한 질서를 갖게 될 것이다.

로레인 대스턴, 『알고리즘, 패러다임, 법』 (까치, 2025)
케이트 크로퍼드, 『AI 지도책』 (소소의책, 2022)

이러한 알고리즘의 불투명성에 대한 이해를 위해 두 권의 책을 소개하고 싶다. 규칙에 대한 개념적 지도를 펼치는 『알고리즘, 패러다임, 법』과 알고리즘의 이면을 다루는 『AI 지도책』이다. 그리고 이 책을 순차적으로 읽기보다는 교차해서 읽어 보기를 권한다. 전자의 책은 알고리즘을 기술적 측면이 아닌 역사적 맥락에서 규칙의 계보에서 들여다보고 있다는 점, 후자의 책은 지금의 알고리즘을 구축하는 환경의 요소를 비판적으로 볼 수 있도록 안내한다는 측면에서 지금의 기술사회를 이해하기 위한 길잡이 역할을 할 것이다.

먼저 『알고리즘, 패러다임, 법』은 규칙이 어떻게 세계의 질서를 형성해왔는지를 다룬다. 이를 위해 규칙의 역사적 궤적과 힘에 관해 설명한다. 저자는 그것의 진화 과정에서 세 가지의 지속적인 규칙 유형을 발견하는데, 계산하고 측정하는 규칙(알고리즘), 통치를 위한 규칙(법률), 따라야 할 모델로서의 규칙(패러다임)이다. 저자의 방대한 규칙에 관한 연구는 사회의 문화와 전통에서의 규칙을 탐색하며 거슬러 올라오다 지금의 기술사회를 주도하는 알고리즘을 연결한다. 알고리즘은 20세기 중반까지만 해도 산술 계산과 관련한 제한적 정의를 가졌으나 기계적 계산이 가능해지고, 개인용 컴퓨터 보급을 계기로 그 의미가 범위가 확대되었고, 지금은 인간의 사고방식 상당 부분이 알고리즘과 상호 작용을 통해 형성되고 있다고 말한다.

이 책에서 흥미로운 지점은 저자가 규칙의 본질을 ‘두꺼운 규칙과 ‘얇은 규칙’으로 구분하는 관점이다. 규칙은 처음부터 예측할 수 없는 것을 예상하며 유연하고 가변성 있게 만들어졌다. 규칙 자체가 불완전성의 내포를 허용하는 것이다. 역사적으로 대부분의 규칙은 유연성이 허용되었고, 계율과 수행 사이를 오가며 서로를 조율하고, 해석하며 적용을 통해 세계의 질서를 만들었다. 이것이 바로 두꺼운 규칙이다. 반면, 얇은 규칙은 세상이 예측 가능하다는 가정하에 만들어지며 유연성을 허용하지 않는 엄격한 명령이다. 계산(컴퓨터) 알고리즘이 이러한 얇은 규칙의 예시이다. 또한 규칙의 변화는 인간 노동이 분업화와 자동화되고, 알고리즘이 독립적으로 판단하는 체계를 만들어온 과정과 맞닿아 있음을 지적한다.

인간 컴퓨터(계산원)의 노동은 주의를 집중하는 엄격하고 예민한 분업의 형태였으나, 이후 저임금, 반숙련의 단편적 작업으로 진행하는 기계적 노동으로 세분화 되었다. 그러다 점차 기계적 노동의 과정이 기계에 의해 독립적으로 완벽하게 실행되기 시작했을 때, 알고리즘은 인간의 판단과 사회적 맥락에서 분리된 얇은 규칙으로 자리 잡게 되었다는 이야기이다. 즉 지금의 알고리즘은 모든 규칙 중에 가장 얇은 규칙 모델이라는 것이다. 특정 상황에 대한 해석이나 유연성을 허용하지 않으며, 정해진 입력과 출력이라는 블랙박스를 통해 결과를 낸다. 인간의 삶이 지닌 복잡함과 예외성 그리고 사회문화적 조건은 이 규칙에서 삭제된다. 인간의 개입과 개선의 여지를 두지 않는다.

그러나 ‘얇은 규칙’ 뒤에는 ‘두꺼운 규칙’이 지속적으로 개입하고 있다. 저자는 “가장 얇은 규칙인 컴퓨터 알고리즘은 그것의 오류와 과잉을 바로잡기 위해서는 수많은 익명의 인간 감독자를 필요로 한다. 모든 얇은 규칙 뒤에는 그것을 따라다니면서 청소 작업을 해주는 두꺼운 규칙들이 존재한다”라고 말한다. 이 지적은 데이터 라벨링과 분류, 정제, 콘텐츠를 필터링하는 익명의 노동자에 의해 작동되는 인공지능 시스템을 적절하게 설명하는 요소이다. 이 책은 이렇게 알고리즘을 두꺼운 규칙과 얇은 규칙이라는 흥미로운 2개의 틀 위에서 다시 사고하게 함으로써, 얇은 규칙의 경직성에 개입할 수 있는 다른 기술의 상상력과 실천을 질문한다.

이를 위해 다음으로 기술의 맥락을 비판적으로 읽어낼 수 있는 책으로 넘어가 보자

“얇은 규칙이 잘 작동하기 위해서는 대규모의 인적, 물적 인프라가 구축되어야 한다.” 로레인 대스턴의 말은 『AI 지도책』을 통해 현재의 시점으로 확장된다. 이 책은 인공지능의 숨겨진 이면을 조명한다. 인공지능의 주요 시스템인 알고리즘은 스스로 판단하는 ‘지능’이 있는 것처럼 보이지만, 절차를 세분화, 표준화하고, 실제로는 광물, 토지와 물과 같은 대규모의 자연 자원과 물리적 인프라, 데이터 그리고 인간 노동에 의존하고 있음을 밝힌다.

비물질적이라고 생각하는 디지털 기술이 사실은 얼마나 권력적이고, 물질적 기반 위에서 구축되는지, 착취를 추출로 전환해서 과거 식민의 역사를 반복, 재현하는지를 다룬다. 무엇보다 현장 연구를 토대로 풀어낸 흥미로운 이야기들은 현재 인공지능이 만들어가고 있는 지평과 지층을 볼 수 있다. 책에서 데이터센터, 광물의 추출, 실리콘밸리의 기술 권력, 데이터 노동 과정을 교차하다 보면 인공지능이 재편하는 또 다른 질서 장에 다다른다.

두 권의 책은 알고리즘을 단순한 계산 도구를 넘어, 우리가 생각하는 것에 영향을 미치고, 인간의 판단을 통제하는 새로운 권력으로 작동하고 있음을 다른 방식으로 드러낸다. 그리고 우리가 사로잡혀 있는 혁신 기술 담론, 새로운 기술 국가주의의 서사를 보다 관계적이고, 변환 가능한 서사로 확장하는 생각을 자극한다. 알고리즘과 데이터 주도의 권력 질서의 확산을 바쁘게 따라가며 도구와 생산으로의 기술의 규칙을 몸에 새기기에 정신이 없는 시기에 이 두 권의 책은 다른 ‘컴퓨팅 서사’의 가능성을 전한다.