연재 구성
[1부] AI는 의식이 있는가…인간 본성을 데이터로 바꾸는 기술의 위험
[2부] AI는 의식이 있는가? ② | 문화의 거울이 된 AI
글 | 레인 하트셀(Layne Hartsell)
우리가 AI에서 보는 것은 어떤 의미에서 우리 자신이다. AI는 방대한 학습 데이터를 바탕으로 그것을 만든 문화를 비춘다. 사실 ‘AI’라고 부르는 소프트웨어나 기계는 토큰 생성 기계라고 설명하는 편이 더 정확하다. 토큰은 글자, 문장부호, 데이터 조각처럼 입력을 이루는 단위이며, 확률적 패턴에 따라 생성된다. 이 소프트웨어는 대규모 데이터로 학습한 뒤 언어를 흉내 낸 텍스트를 출력한다.
그러나 이것은 언어가 아니다. 생물언어학은 인간에게 생성적이고 창조적인 언어 능력이 선천적으로 있다고 본다. 인간은 의미도 이해한다. 기본적으로 인간의 언어는 외부 입력의 확률적 패턴을 맞추는 방식으로 만들어지지 않으며, 의도와 의식도 계산의 문제가 아니다. 토큰 생성 기계에는 선천적 능력이 없다.
흥미롭게도 오늘날의 논의는 이 연재의 첫 글에서 언급한 20세기 중반 촘스키와 스키너의 논쟁을 뒤집는 듯하다. 당시 인간은 아무것도 쓰이지 않은 백지로 여겨졌다. 오늘날에는 기계에 선천적 능력이 있는 것처럼 다룬다. 인지과학과 컴퓨터과학 사이에서 나타난 흥미로운 뒤틀림이다.
언어학자 에밀리 벤더(Emily Bender)는 AI 시스템을 ‘확률적 앵무새’라고 부른다. 벤더는 주거와 형사사법 영역의 차별적 결과, 의료서비스 거부, 혐오표현과 허위·오도 정보, 딥페이크 음란물이나 허위로 만들어진 곤란한 사진과 이야기, 알고리즘 관리에 따른 임금 착취 등 AI가 이미 초래한 피해를 정리했다.
벤더와 알렉스 해나(Alex Hanna) 등은 AI를 어린이책 『Everything in the Whole Wide World』에 비유한다. 이 책에서 세서미 스트리트의 인형 캐릭터 그로버는 모든 것을 분류해 놓은 듯한 박물관을 방문한다. 하지만 그 분류는 임의적이며, 그로버는 결국 바깥세상으로 이어지는 ‘그 밖의 모든 것’이라는 문에 도착한다. 이들이 말하는 요지는 AI의 일반적 ‘이해’를 측정한다고 주장하는 평가 기준도 대체로 임의적이라는 것이다. 실제 세계로 나아가는 일은 충만함과 통합성에 관한 또 다른 문제다.
인공지능은 대체로 그것을 만들어낸 서구 문화를 비춘다. 기술과 사회 양쪽에서 반복과 되먹임이 위험이 된다는 점에서, 이는 나르키소스의 메아리와 같다. 기술적으로는 데이터의 질이 저하되고 피드백 고리가 통제 없이 증폭되는 ‘모델 붕괴’가 나타난다. 문화적으로는 주류 문화나 하위문화가 더욱 증폭되는 문제가 있다.
여기에 소프트웨어가 의식을 지녔다는 잘못된 믿음이 더해지면 허위·오도 정보는 바로잡히기보다 확대된다. 기술은 문화 속에서 해롭게 작용하고, 여러 위험이 뒤섞인 끝에 디스토피아로 이어진다. 우리가 거울을 들여다보면 반사된 모습이 돌아오고, 그 모습에서 다시 데이터가 만들어진다. 나는 구별하고 판단하는 능력을 사회 전체가 잃어가는 이 고리를 ‘관점 상실의 정신증’이라고 부르고자 한다. 이는 인간의 관계성보다 시장의 작동 방식과 이윤, 사회적 고립을 중심에 둔 기술적 디스토피아다.
이 디스토피아는 자폐증, 주의력결핍 과잉행동장애(ADHD), 정신증의 증상과 같은 상태가 기술적으로 유발되는 데서 특히 강하게 나타난다. 일부는 이를 ‘브레인 로트(brain rot)’라고 부른다. 기업과 정부의 고도로 정교한 디지털 시스템이 인간의 정신, 특히 의도를 겨냥하기 때문이다. 약 20년 전 마케팅 담당자들은 기능적 자기공명영상(fMRI)으로 뇌를 직접 들여다보고 시장과 사회에서 사람들에게 영향을 주려 했다. 오늘날에는 주의를 빼앗고 의도를 좌우하는 방식으로 그 목표를 이룬다.
독일계 미국 철학자 한나 아렌트(Hannah Arendt, 1906~1975)는 사람들이 정확한 정보와 거짓을 구별하는 능력을 갖추지 못하면 전체주의의 손쉬운 대상이 된다고 경고했다. 안타깝게도 우리는 아렌트가 글을 쓰던 때보다 훨씬 깊은 기술적 디스토피아에 들어와 있다. 행동을 바꾸기 위한 알고리즘은 주의와 의도를 수익화하는 사업 모델이 됐다. 한 주요 자동차 기업의 표현을 빌리면 거의 ‘순수한 이익’에 가깝다. 그렇다. 그들은 자신들이 판매한 차량에서 데이터를 수집할 수 있다는 사실을 깨달았다.
계산이란 무엇인가, 무엇이 아닌가
오늘날 계산은 여러 입력·출력 과정이 병렬로 작동하는 것을 뜻한다. 신경망은 매우 복잡하지만, 여전히 입력과 출력의 과정이다. AI는 방대한 데이터로 학습한 뒤 정교하게 토큰을 맞춰 내는, 분리되고 통제 가능하며 알고리즘으로 작동하는 ‘데카르트적 극장(Cartesian Theatre)’이다. 매사추세츠공과대학(MIT)의 린 안드레아 스타인(Lynn Andrea Stein)은 이를 ‘정교한 기호 처리 주판’이라고 부른다.
그러나 물리학자 로저 펜로즈(Roger Penrose)가 지적하듯 자연은 분명히 ‘터무니없이 다르다’. 체화와 의식의 문제에서 AI와 과학적으로 견줄 만한 실질적 비교 대상은 없다. 의식을 계산으로 환원할 방법도 없어 보인다. 위험은 AI에 의식이 있다고 보는 혼동 자체에 있다. 그 믿음이 인간을 환원하고 대상화하는 일을 가능하게 한다.
두 가지 믿음이 계속 나타난다. AI가 사람처럼 언어를 이해한다는 믿음, 그리고 AI가 인간의 정신을 설명하거나 스스로 의식을 지녔다는 믿음이다. 어느 쪽도 입증되지 않았다. 존 설(John Searle)의 ‘중국어 방’ 사고실험은 여전히 유용하다.
내가 방 안에 있다고 가정해 보자. 한쪽 문으로 중국어 글자를 받아 방 안의 글자와 짝을 맞춘 다음 다른 문으로 내보낼 수 있다. 한 번도 틀리지 않고 짝을 맞춘다 해도 나는 중국어를 이해하지 못하며, 이는 쉽게 시험할 수 있다. 밖에서는 언어를 흉내 낸 결과가 보이지만, 안에서는 이해가 이뤄지지 않는다.
오늘날의 기계에서도 우리는 데이터와 출력을 볼 뿐 마음이론의 증거는 보지 못한다. 여기서 마음이란 자연세계와 몸으로 접촉하고, 수천 년에 걸쳐 문화와 땅을 통해 형성된 것이라고 전제한다. 의식과 지능은 몸을 지닌 존재의 특성이다. 인간의 경우에는 문화, 역사, 감정, 다양한 능력, 의도와 주의 속에 한층 더 깊이 자리 잡고 있다.
컴퓨트로늄과 뇌의 재료를 바꾸는 사고실험
계산적 환원주의의 궁극적 표현은 ‘컴퓨트로늄(computronium)’이다. 컴퓨터과학자 노먼 마골러스(Norman Margolus)와 톰마소 토폴리(Tommaso Toffoli)가 최대 계산 밀도에 최적화된 가상의 물질을 가리키기 위해 만든 용어다. 마트료시카 브레인이나 다이슨 스웜(클라우드)과도 같은 영역의 발상이다. 그러나 컴퓨트로늄은 유물론의 관점에서도 문제를 드러낸다.
‘기질 교체(substrate swap)’ 사고실험을 생각해 보자. 과학자들이 의식이 있는 뇌의 뉴런을 하나씩 컴퓨트로늄이나 최적화된 계산 재료로 바꾼다고 가정한다. 이를 결정질 물질이라고 부르자. 새 재료가 이전과 똑같은 입력·출력 기능을 수행할 때, 뉴런을 하나씩 바꿀 때마다 그 사람에게 자각이 남아 있는지 묻는 것이다. 기능적으로, 곧 계산상으로 아무것도 변하지 않았는데 주관적 경험이 사라진다면 의식은 계산보다 생물학적 기질에 의존한다고 예상할 수 있다.
주관적 경험이 계속된다면 계산만으로 의식이 가능할 수도 있다. 그 경우에는 의식을 컴퓨터에 업로드하는 일도 가능하리라고 추정할 수 있다. 나는 의식이 계산에 수반해 생겨난다는 주장에 오래전부터 매우 회의적이었고, 그 주장은 물리적 실재의 문제를 통과하지 못한다고 생각해 왔다. 앞서 말했듯 의식과 마음은 체화와 경험, 또는 일종의 실천적 발달에 의존한다는 것이 내 견해다.
의식과 마찬가지로 생물학도 계산으로 환원되지 않는다. 예를 들어 단백질 생산은 분산된 세포 과정으로 이뤄지며, 과거에 생각했던 것처럼 입력·출력 모델에 들어맞지 않는다. 자연에서 추상화를 통해 모델을 만드는 것은 괜찮다. 중대한 오류는 그 모델을 자연 자체로 믿는 데 있다.
이런 사고실험보다 더 중요한 것은 스튜어트 해머로프(Stuart Hameroff)와 로저 펜로즈가 미세소관을 대상으로 진행하는 현재의 마취학 연구다. 이 연구는 환자가 잠들 때 의식이 어디에서 ‘켜지고 꺼지는지’를 살핀다. 이 물리적 의식 이론의 논리는 의식이 계산으로 설명되지는 않는 듯하지만 미세소관의 양자 과정과는 관련이 있어 보인다는 것이다. 이는 의식에 관한 생물학적 이론이다.
이 ‘객관적 환원(objective reduction)’이 의식적 사건을 구성하고 물리학, 화학, 생물학을 연결한다는 가설이 제기돼 있다. 이를 입증한다면 놀랍고 중요한 성과가 될 것이다. 위의 모든 논의는 흥미롭고 연구할 가치가 있다. 다만 우리에게 깊은 수수께끼처럼 보이는 것이 자연 자체에는 어려움을 주지 않는 듯하다. 자연은 파동과 입자의 이중성과 같은 여러 경우에 ‘선택’하는 것으로 보이고, 다른 곳에서는 의식을 통해 선택하거나 식별하는 듯하다. 펜로즈는 이를 ‘원초적 의식(proto-consciousness)’이라고 부른다.
만약 유기물질이 절대적으로 필요하다는 사실이 밝혀진다면, 현재 만들어지는 오가노이드(작은 뇌)는 실리콘 기반 계산 장치나 다른 컴퓨트로늄보다 생산비가 훨씬 낮고 만들기도 쉬우며 계산 성능도 더 나을 수 있다. 어쩌면 기질이나 뇌와 컴퓨트로늄을 비교하는 방향 자체가 잘못됐을지 모른다. 그래도 그 과정에서 유용한 정보를 얻을 수는 있다.
의식이 자연의 한 속성일 가능성도 있다. 그렇다면 우리는 체화와 경험에 따라 다양한 정도와 양상의 의식을 보게 될 것이다. 불교 철학에서 말하는 몸과 의식의 연기(緣起)와도 관련이 있다. 이 경우 실제로 의식을 이해하는 일은 우리 능력의 범위를 넘어설 수 있다. 나는 이렇게 생각한다.
수학적 신화와 모방 게임
튜링 테스트는 컴퓨터가 언어와 같은 텍스트를 만들어낼 수 있는지 판단하기 위한 잠정적이고 조작적인 시험이다. 감정, 상상력, 선견지명이나 초월성이 아닌 모방 능력을 측정한다. 체화의 영역에 대해서는 아무것도 측정하지 못한다. 튜링은 자신의 시험을 통과하는 일이 중요한 이정표, 또는 탄광 속 카나리아와 같은 경고 신호가 될 수 있다고 봤다. 그 지점에 도달하면 사회가 이 문제에 더 주의를 기울여야 한다는 뜻이었다. 그러나 그는 컴퓨터가 의식을 지닌 존재라고 생각하지 않았다.
이후 네덜란드 수학자 에츠허르 데이크스트라(Edsger Dijkstra)는 “잠수함이 수영한다고 말하는가?”라고 수사적으로 물으며 그 질문이 흥미롭지 않다고 봤다. 그러나 많은 사람은 튜링이나 데이크스트라의 접근보다 AI에 관한 ‘수학적 신화(mathemythics)’를 원한다. 이는 기후경제학자 스티브 킨(Steve Keen)이 경제학에서 신화를 만들어내는 수학적 형식주의를 비판한 것과 닮아 있다. 이러한 패턴은 때때로 폭넓게 적용된다.
지금 나타나는 것은 믿음이 지배하는 환경이다. 컴퓨터과학자와 최고경영자들은 의식을 계산으로 환원하는 일이 이미 이뤄진 것처럼 다룬다. 전문 자격을 갖춘 사람들도 여기에 가세해, 물리학자들 자신이 여전히 양자역학이 관련된 계산 불가능한 문제로 보는 것을 확정된 사실처럼 말한다. 현재의 AI 문화 현상은 물리학이나 수학보다 영합과 선정성으로 더 잘 설명되는 듯하다.
역사적으로 근대의 기본 전제는 인간 이외의 존재에는 내면의 삶이 없다는 것이었다. AI에 대해서는 그 전제가 뒤집혔다. AI가 이해하지 못한다는 것이 입증되기 전까지는 이해한다고 가정하는, 스스로를 정당화하는 고리가 만들어졌다.
체화와 사회적 관계
영국의 예술가이자 작가인 존 러스킨(John Ruskin)은 인간의 의식이 자연과의 접촉을 통해 생겨났다고 봤다. 미국의 자연 안내자 시거드 올슨(Sigurd Olson)도 수없이 야생으로 카누 여행을 떠난 뒤 인간의 정신이 “숲과 들판과 물에 조율돼 있다”고 인식했다. 큰 질문을 다룰 때 시적인 언어가 조금은 도움이 될 수 있다. AI가 의식을 지녔다는 믿음은 범주를 잘못 적용한 판단이며, 그 잘못은 사회적 결과로 확대된다.
사람됨, 실제 관계, 의무와 돌봄처럼 공동체를 지탱하는 관계적 본능은 우리의 상호작용에 기계화가 들어올 때마다 위협받는다.
유창한 텍스트를 내면의 삶에 대한 증거로 대신 받아들이면, 사람됨을 판단하는 기준은 친밀함과 상호성에서 겉으로 드러나는 반응과 무심한 상호작용으로 바뀐다. 그러나 사람 사이의 관계에는 이해관계가 충돌하는 역동적 상호작용이 있다. 그 역동성은 인내와 협상, 새로운 생각과 삶의 방식, 관용을 가르친다. 관계성을 제거하고 기계적 작동에 최적화한 시스템에는 그런 역동성이 없다. 나는 상호성을 유지해 온 능력과 습관이 약해질 것으로 본다.
따라서 어리석음이 확산하는 한편 심리적 고통도 뒤따를 것이다. 자아(Self)를 관계를 식별하는 요소로 정의할 수 있으며, 그 능력이 체계적으로 좌절되면 심리적 질환으로 이어질 수 있기 때문이다.
사회학자 조너선 하이트(Jonathan Haidt) 같은 연구자들은 실제 인간관계에 이미 문제가 나타나고 있다고 보고한다. 기계에 내면의 삶을 부여하는 일은 무해해 보이고, 심지어 ‘인간보다 낫다’고 여겨지기도 한다. 이러한 믿음이 널리 퍼지면 사회를 분열시키는 구조적 침식이 일어난다. AI가 등장하기 전부터 소셜미디어와 시장 중심 사회로 인해 문제가 됐던 전 세계적 외로움의 확산에서도 이를 볼 수 있다.
이 상황은 신체 건강에도 좋지 않다. 중국의 역학자 판 왕(Fan Wang)은 2023년 200만 명 이상을 대상으로 한 메타분석에서 사회적 고립과 외로움이 각각 독립적으로 사망 위험 증가와 관련돼 있음을 발견했다. 갈수록 악화하는 이러한 상황을 설명하는 데 ‘은밀하게 해롭다’와 ‘디스토피아’라는 표현은 적절하다.
3편에서는 새로운 기술 유토피아주의를 논의하고 결론을 제시할 것이다.
필자 소개
레인 하트셀은 에너지·경제·환경(3E)을 연구하는 미국 출신 학자다. 태국 방콕 출라롱콘대학교 철학과 과학·기술·사회센터 연구위원이며, 필리핀 민다나오 노스밸리칼리지의 3E·생물지역 서신 연구위원과 일본 도쿄 아시아연구소 연구위원으로 활동하고 있다.
숙명여자대학교 융합학부 조교수와 아시아여성연구원·아태여성정보통신원 연구원, 성균관대학교 및 성균관나노과학기술원 연구교수를 지냈다. 태국 마히돌대학교 시리랏의학센터 분자생물학·생물정보학과 외래강사와 미국 버지니아대학교 의과대학 연구원으로도 활동했다.
