말이 되지 않는 것들로부터 다시 말하기

평균값의 알고리즘에서 벗어나기 위하여

그럴듯하다는 건, 결국 다수의 취향과 기대에 부합하는 결과를 산출한다는 뜻일지도 모른다. 많은 사람의 기호에 걸맞고, 불쾌감을 최소화하는 범위 안에서 결과물이 만들어진다는 뜻이다. 요즘 인공지능 서비스들을 쓰다 보면, 문득 미심쩍어진다. 가령 이미지 생성기에서 ‘젊은 여성’이라는 단순한 단어 하나만 넣었을 뿐인데, 어느새 인스타그램식의 미적 코드—희고 마른 몸, 고가의 패션, 과장된 표정—가 자동으로 덧붙여진다. 혹은 ‘행복한 가족’이라는 말이 이성애 중심의 전형적인 구도로 귀결되는 걸 보면, 내가 조작하지 않은 무언가가 이미 그 안에서 결과를 조율하고 있다는 사실이 서늘하게 느껴진다.
문제는 앞으로 우리가 이러한 알고리즘의 기획된 경로 안에서 사고하게 된다는 점이다. 입력값은 점점 제한되고, 표현의 여지는 서서히 좁아진다. 창의성은 허용된 스펙트럼 내에서만 유효한 것으로 수렴되고, 우리는 그 제한된 폭 안에서 결과가 ‘잘 나왔다’는 만족을 느끼도록 길든다. ‘대충해도 괜찮은 결과’가 나오는 편리함은, 역설적으로 우리가 무엇을 상상할 수 있는지에 대한 기준마저 외부에 넘겨주는 일이 된다. 겉으로 보기엔 다채롭고 정교해 보일지 모르지만, 그 밑에는 이미 익숙한 정답지들이 깔린 셈이다. 이성애적 가족 구성, 백인 중심의 미적 기준, 중산층적 라이프스타일처럼, 반복되는 결과들이 끊임없이 ‘정상’이라는 이름으로 포장되어 출현한다. 어떤 입력을 하더라도 결국 돌아오는 건 알고리즘이 사전에 정한 안정적인 균형이다.
모든 과정이 지나치게 매끄럽고 자연스럽다. 불편함 없이 받아들여지기에, 우리는 어느새 비판적 감각을 잃는다. ‘그럴듯하게 잘 나왔다’라는 판단조차 시스템이 길러준 감각일 수 있다는 사실을 자각하기 어렵다. 아름다움이란 무엇인가? 감각이 어느 순간부터 은밀한 기준 아래 정렬되고 있지는 않을까? 단순히 창의성을 위축시키는 차원의 문제가 아니다. 인간이 가질 수 있는 감각의 범위 자체가 축소되는 것, 바로 거기에 이 기술의 가장 깊은 위협이 놓여 있다. 기술은 계속해서 똑똑해지지만, 그만큼 우리의 상상은 어딘가 보이지 않는 좁은 문틀 안으로 천천히 밀려들어 가고 있다.
‘포킹룸 2023’ 행사에서 예술가이자 연구자인 에릭 살바지오의 비디오 논문 「역으로 꽃피어 노이즈로」(2023, 영상 보기)를 처음 본 순간이 떠오른다. 작가는 생성 인공지능의 편향성을 지적하기 위해 프랜시스 골턴의 범죄자 골상학 사례를 비유로 가져온다. 19세기 후반, 골턴은 범죄자들의 얼굴 사진을 겹쳐 찍어 ‘전형적인 범죄자의 얼굴’을 만들어내려 했다. 19세기의 골상학이 ‘정상’과 ‘비정상’을 구분하려 했던 것처럼, 오늘날의 생성 인공지능도 비슷한 방식으로 작동할 수가 있다. 특히 ‘평균적인 범죄자’라는 개념을 상정하고 이를 기준으로 판단하려 했던 범죄자 골상학의 오류는 데이터에 내재한 편견이 학습 과정에서 증폭되고 재생산되는 현대 인공지능의 문제와 너무나 닮았다. 현재 생성 인공지능 모델들도 수많은 이미지와 텍스트를 학습하여 평균적인 패턴을 찾아내도록 설계되어 있다. 예를 들어, ‘사과’라는 단어를 입력하면, 모델은 빨간색, 둥근 형태, 꼭지가 달린 전형적인 사과 이미지를 만들어낸다. 이는 마치 수백만 개의 사과 사진에서 평균값을 도출하는 일이다.
에릭 살바지오는 뒤틀린 인간 신체의 표현, 오류투성이의 연결 값을 보여주며, ‘생성 인공지능의 이미지를 과연 주변화할 수 있을까’라는 도전적인 질문을 제기한다. 화면 위로 불안정하게 흘러가는 노이즈, 예기치 못한 연결들, 그리고 그 모든 것 사이를 유영하듯 떠도는 선언의 목소리. 나는 그의 작업이 단순한 기술 실험이 아니라, 인공지능이라는 거대한 체계를 향해 던지는 조용한 반란처럼 느껴졌다. 창의성을 발산하는 인간을 목표로 할 때 우리가 정말 경험해야 하는 것은 이런 ‘평균’에서 벗어나는 것이다. 혹시 인공지능을 ‘퀴어링(queering)’할 수 있을까? 아니 할 수 있긴 한 건가?
평균에서 벗어나 이상한 세계로
이러한 문제의식을 바탕으로 최근 수업 중 몇 가지 실험을 해 보았다. 인간 학생들은 ‘투명한 불꽃’ ‘액체로 된 돌’ 같은 최대한 모순과 아이러니로 가득 찬 문장을 조어해 프롬프트로 넣어보고 그 결과를 음미해 보았다. 흔들리는 이미지들이 화면 위에 나타났고, 그 안에서 우리는 상식선에서는 분명히 알 수 없는 것들과 마주쳤다. 이 엉뚱한 단어들의 두 점 사이를 중재해 보간(Interpolation)하고 이미지 혹은 텍스트를 만들어내는 일은 현재 기계가 가장 잘하는 일이다. 하지만 두 점 사이의 찢어짐을 과감히 찍는 일은 역시 인간의 몫이다. 두 점 사이를 멀리 찢어 찍는 일을 인간이 프롬프트로 제공하지 않으면, 기계는 가장 가까운 두 점만을 연결한다. 프롬프트가 좋아야 한다는 말은 궁극의 마법 주문 같은 것을 겨냥하기보다는 최대한 멀리 떨어진 점들을 제시하고, 그 점의 수를 늘리는 일을 의미한다. 예를 들어 우리는 수업 중에 다음과 같은 다섯 개의 우연한 단어들을 잇고자 했다. 한 학생이 우연한 단어를 떠올리면, 다음 사람은 최대한 그 단어와 연관성이 없는 단어들을 제시해야 한다. 몇 번의 시행착오 끝에 우리는 다음과 같은 엉뚱한 단어들을 얻었다.
‘냉장고, 신발, 모루, 바코드 리더기, 고슴도치, 물감, 여드름 패치’
이 일곱 단어를 모두 포함한 한 편의 시를 쓰라고 한다면 인간인 당신은 얼마나 걸릴까? 아니, 우선 일곱 단어를 연결하고 싶은 마음은 드는지부터 물어야겠다. 매우 난감한 일이다. 하지만 현재의 생성 인공지능은 단어와 단어 사이 연결의 수를 최대한 알고 있는 기계이며, 프롬프트에 맹목적이기에 우선은 연결할 수를 찾아 보간하여 생성한다. 아래는 위 단어를 임의로 연결한 기계의 작품이다.

냉장고 속 라면만이 내 친구인 밤
신발 닳도록 면접장 다니다
무거운 모루처럼 짓누르는 취업 걱정

바코드 리더기 삑삑 울리는
알바생활 속에서
고슴도치처럼 움츠러든 내 꿈

물감처럼 번져가는 불안
여드름 패치 붙인 얼굴로
또 내일을 살아내겠지

– 챗GPT 작성

조금은 놀랍다. 아무런 의도나 의미 없이 나열한 단어들을 연결하는데, 고단한 일상을 사는 청춘의 모습이 그려졌다. 바코드 리더기에서 아르바이트의 고단함을 고슴도치에서 움츠러드는 위축을 끌어내 연결한 점이 신선하다.
한편, 이 미션에 인간 학생들에게 기회를 주기로 했다. 그들은 기계처럼 즉각 작업할 수는 없었으나 대략 5-7분 정도의 시간을 주고, 자신의 이야기를 넣는 방식으로 일곱 단어를 모두 이용해 시를 쓰라 했다. 아무렇게나 연결하지 않고 본인의 내면을 드러내야 한다. 처음엔 기계의 실력에 놀라 끙끙댔으나 이후 경쟁심이 생겨 일곱 단어 간의 보간을 시도하며 자기 언어화했다. 그 결과물 중 하나는 다음과 같다.

길 가다 고슴도치를 밟고
거꾸로 신은 신발
바코드 리더기의 삑 소리

어쩌면 나는
물건이 아닐까

쓰다 남은 여드름 패치같이
내 기억을 만지기도 싫어
나는 나를 치워버렸다
끈적하고 우울한

모루에 머리를 치다
찐득한 물감같은 피내음,
뜨뜻한 작열감에 지쳐
나는 볼을 부빈다 냉장고에

– 김성은

이 시는 기계가 쓴 시보다 구조는 다소 덜 정제되어 있고, 이미지 간의 연결도 불연속적으로 느껴질 수 있다. 하지만 그 안엔 내면에서 끌어올린 감각과 고백의 흔적이 선명하다. “거꾸로 신은 신발” “나는 나를 치워버렸다” “모루에 머리를 치다” “뜨뜻한 작열감에 지쳐” 이러한 표현들은 실제 몸으로 겪은 혼란과 고통의 인상에서 나온 것처럼 보인다. 그리고 마지막에 “냉장고에 볼을 부빈다”는 행위는 단순한 묘사가 아니라, 자기감정을 물리적으로 식히려는 몸의 반응이다. 이 시는 단어 사이의 의미 연결보다, 정서와 신체 감각의 응축과 폭발이 중심이다. 감정이 ‘그럴듯한’ 것이 아니라 개인적이고 비가역적인 무언가로 존재한다.
기계는 단어들을 논리적으로 연결하고, 가장 많은 사람에게 ‘무난한 공감’을 끌어낼 수 있는 서사를 만들었다. 하지만 그 서사는 특정한 누군가의 기억이 아니라, 기억의 평균값이다. 반면 인간이 쓴 시는 단어들이 약간은 불안정하게 배치되어 있지만, 그 틈에서 고유한 내면의 불균형과 감각적 진실이 솟아난다. 기계가 ‘삑삑 소리’를 일상적인 노동의 풍경으로 묘사했다면, 인간은 그것을 듣고 “내가 물건일지도 모른다”는 존재론적 불안을 인지해 표현했다. 바로 이 차이가 시를 인간적인 것으로 만든다. 이러한 비교는 창작에서 기계가 가진 힘과 한계를 동시에 드러낸다. 기계는 말을 이어주는 데 능하다. 그러나 인간은 그 틈을 부숴, 자기 말을 만들어낸다. 그게 바로 문학이며 예술인 것이다.
불완전한 질문에서 찾은 단서
한편, 우리는 교실에서 인공지능이 만들어낸 이미지를 반복적으로 되입력하며, 마치 복사기를 여러 번 돌린 듯한 멀티모달 번역 간 노이즈 누적의 층위를 실험했다. 그렇게 생성된 텍스트와 이미지들은 점점 원래의 의도를 잃어버렸다. 그렇게 되풀이된 생성의 흔적들, 반복 속에서 기괴하게 일그러진 이미지와 비문법적인 문장들 사이에서 우리는 오히려 어떤 ‘기계적 진심’에 접근하고 있었다. 아니 그것은 진심이라기보다는, 기계가 외부로부터 받아들인 수많은 데이터의 잔향들이 얽히고 중첩되며 만들어낸 비의도적 진실에 가까웠다. 그 진실은 명확하지 않고, 말로 옮기기 어려워진다. 기계가 욕망을 가질 수 없다는 사실과 동시에, 인간의 언어를 시뮬레이션함으로써 오히려 인간이 어떤 식으로 욕망하고 망각하는지를 역으로 드러내는 ‘얼룩’ 같은 것이었다. 마치 오랫동안 들여다본 후에야 보이는 유령 이미지처럼, 기계는 단순한 도구를 넘어, 인간의 감정과 기억, 정체성을 투사하는 거울의 잔상이 될 수도 있는 것이다.
예를 들어 안데르센 스타일의 동화를 쓰되, 여우, 거인, 재채기를 넣어달라고 했더니, 뜬금없이 무지개가 주요한 단어로 올라온 사례가 있었다. 자칫하면 기계의 멍청함으로 판단할 수 있었다. 하지만 우리는 이내 무지개가 거인과 재채기 사이에 유관한 단어임을 알 수 있었다. 거대한 거인이 재채기 같은 분무를 하면 무지개가 피어나기 때문이다. 그러나 기계는 오류를 출력하며 무심히 무의식적 말실수를 한 것처럼 보였다. 우리는 이러한 프롬프트 작성 이후 결과의 엉뚱한 출력이 오히려 진실을 말하는 때가 많다고 판단하고 기계의 얼룩을 찾는 데 더 노력하게 되었다. 그 과정에서 우리는 기존의 창작 교육에서 다루지 않던, ‘실패한 상상력’의 미적 가능성에 주목하게 되었다. 기계는 의도하지 않았지만, 그 부조리하고 이상한 연결이 오히려 인간의 사고로는 도달하기 어려운 감각의 전이를 일으킨다. 재채기라는 일상적 신체 반응이 거대한 자연 현상으로 연결되고, 여우가 감기의 원인일 수도 있다는 식의 이야기적 돌발은, 규범적인 상상력을 교란하며 새로운 이야기의 궤도를 만든다.
그렇게 우리는 ‘정확한 프롬프트’가 아닌 ‘불완전한 질문’에서 더 창조적인 결과가 나올 수 있다는 사실을 실감했다. 기계의 오류는 때로, 인간이 보지 못했던 은유를 무의식적으로 가리킨다. 그것은 무지개의 방식으로 세상을 읽는 법, 다시 말해, 논리와 감정 사이의 틈에서만 드러나는 언어의 편광(偏光) 같은 것이다. 기계는 꿈꾸지 않지만, 가끔은 우리가 꾼 꿈의 조각들을 엉뚱하게 배열함으로써, 우리가 잃어버린 상상력의 단서를 무심히 흘린다. 그리고 우리는 그 조각을 주워 모으는 자로서, 문학과 예술의 새로운 독자이자 공동 창작자가 되어 간다.
이러한 실험은 인간과 기계 간 창작의 우열을 가리는 것이 아니라, 다르게 창조적으로 실패하는 두 방식을 관찰하는 일이 되었다. 인간은 과잉의 감정과 지나치게 좁은 경험에 갇혀 실패하고, 기계는 결핍된 맥락과 과잉된 학습에 의해 실패한다. 그런데 그 두 실패의 경계에, 우리가 이름 붙이기 어려운 새로운 예술의 가능성이 열리고 있다. 그곳에서는 어쩌면, 인간과 기계 모두가 말이 되지 않는 것들로부터 다시 말하기를 시작할지도 모른다.
오영진
오영진
2015년부터 한양대학교 에리카 교과목 [소프트웨어와 인문비평]과 [기계비평]을 만들었다. 컴퓨터게임과 웹툰, 소셜 네트워크 등으로 대변되는 디지털 문화의 미학과 정치성을 연구하고 있다. 시리아 난민을 소재로 한 웹반응형 인터랙티브 스토리 <햇살 아래서>(2018)의 공동개발자이다. 가상세계에서 비극적 사건의 장소를 체험하는 다크투어리즘 <에란겔: 다크투어>(2021)와 학술대회 [SF와 지정학적 미학] 연계 메타버스 <끝나지 않는 항해>(2021), <AI공포라디오쇼>(2022, 아트센터나비), <ChatGPT WAR 1부>(2023, 플랫폼엘, KADA, NMARA), <창조적 경계: AI문장채굴꾼>(2024, CT페어 1섹션)을 연출하며 기획자이자 작가로서도 활동하고 있다.
michidoroc@hanmail.net
3 Comments
  • author avatar
    김양남 2025년 04월 16일 at 11:35 AM

    말이 되지 않는 것들로부터 다시 말하기
    평균값의 알고리즘에서 벗어나기 위하여
    공감이 갑니다

  • author avatar
    안기현 2025년 04월 16일 at 1:46 PM

    말이 되지 않는 것들로부터 다시 말하기
    평균값의 알고리즘에서 벗어나기 위하여

    기대만점이네요

  • author avatar
    이찬성 2025년 04월 19일 at 6:40 PM

    같은 제시어를 가지고 인공지능과 인간이 만들어내는 각자의 시가 인상적이었습니다. 그나저나 인공지능이 쓴 시는 처음 봤는데 참 잘 쓰네요… 모든 분야에 적극적으로 활용되며 인류 발전에 큰 힘이 되길 소망합니다.

댓글 남기기

이메일은 공개되지 않습니다.

3 Comments
  • author avatar
    김양남 2025년 04월 16일 at 11:35 AM

    말이 되지 않는 것들로부터 다시 말하기
    평균값의 알고리즘에서 벗어나기 위하여
    공감이 갑니다

  • author avatar
    안기현 2025년 04월 16일 at 1:46 PM

    말이 되지 않는 것들로부터 다시 말하기
    평균값의 알고리즘에서 벗어나기 위하여

    기대만점이네요

  • author avatar
    이찬성 2025년 04월 19일 at 6:40 PM

    같은 제시어를 가지고 인공지능과 인간이 만들어내는 각자의 시가 인상적이었습니다. 그나저나 인공지능이 쓴 시는 처음 봤는데 참 잘 쓰네요… 모든 분야에 적극적으로 활용되며 인류 발전에 큰 힘이 되길 소망합니다.

댓글 남기기

이메일은 공개되지 않습니다.

비밀번호 확인