AI는 의식이 있는가…인간 본성을 데이터로 바꾸는 기술의 위험

글 | 레인 하트셀(Layne Hartsell)

우리는 전례 없는 규모로 기술이 확장되고 융합되는 시대에 살고 있다. 이를 나노기술·생명공학·정보기술·인지과학의 결합을 뜻하는 ‘NBIC 융합’이라고 부르기도 한다. 바이오 기술은 건강수명 연장과 메신저 리보핵산(mRNA), 유전자 가위 크리스퍼(CRISPR), 맞춤형 의료, 바이오해킹을 발전시켰지만, 인공지능(AI)은 다른 모든 기술을 제치고 대중의 관심 한가운데로 들어왔다.

AI는 일상적인 지적 업무부터 예술과 놀이에 이르기까지 빠르게 활용되고 있다. 바이오 기술이 여전히 전문 영역과 연구실에 머무는 것과 달리, AI는 인간과 비슷하거나 의식을 지닌 존재로 받아들여지는 ‘인지 기술’이 됐다. AI가 2022년 말 공개 인터넷에 본격적으로 등장한 직후부터 새로운 위협과 범죄, 비극이 나타났고 전쟁을 비롯한 기존 위험도 증폭됐다.

기업 경영진과 각국 정부, 학계, 대중 사이에서는 AI에 대한 기술적·사회적 통제 장치를 즉각 마련해야 한다는 공감대가 형성됐다. 사실 이러한 안전장치는 수십 년 전에 마련됐어야 했다. AI 윤리가 다시 주요 의제로 떠올랐고, 일부 핵심 인사들은 기술 개발 중단을 요구하며 위험을 공개적으로 경고하고 있다.

항공사 경영진이 자사 항공기의 잇따른 추락 사고를 주요 언론에서 직접 경고하는데도 투자자들이 계속 주식을 사들이며 역사상 최대의 항공산업 거품을 만든다고 가정해 보자. 그러나 이 가상 시나리오조차 AI 기업 경영진과 과학자들이 실제로 거론하는 위협에 비하면 미미하다. 경제와 사회 구조의 붕괴부터 인류를 절멸시킬 수 있는 생물무기까지, 이들이 제기하는 위험은 단순한 공상이 아니다.

AI 규제는 매우 시급한 문제다. 그러나 그와 동시에 기계가 감각과 의식을 지닌다는 믿음이 현실과의 또 다른 단절을 만들고 있다. 이 글은 바로 그 믿음을 살펴본다. AI가 무엇이며 앞으로 무엇이 될 수 있는지를 논의하려면, 먼저 기계를 지능적이거나 의식적이라고 부를 때 그것이 무엇을 의미하는지, 그리고 인간과 기계가 각각 무엇으로 변해갈 것인지를 물어야 한다.

AI에 의식이 있다고 보는 인식은 인간 본성을 기술화하려는 광범위한 흐름의 중심에 있다. 이는 인간을 계산 과정으로 환원하며 윤리적·정신적·사회적·정치적·영적 영역에 중대한 결과를 초래한다. 따라서 AI가 지능과 감각, 의식을 갖췄다는 주장은 엄격한 증명을 요구하는 특별한 주장이다. 그러나 AI가 사람들이 듣고 싶어 하는 문장을 만들어내는 순간, 많은 이들이 이러한 기준을 잊는다.

한 유명한 유물론적 과학자는 최근 이 소프트웨어에 대해 호의적으로 발언했다. 기계를 의식적 존재로 간주하는 일이 정신과 인간에 관한 자신의 유물론적 이론과 일치하며, 이를 입증한다고 생각하는 듯하다. 그는 다른 분야에서는 특별한 주장에 특별한 증거를 요구할 사람이다.

AI의 의식과 지능을 공개적으로 논의하려면 최소한의 근거가 제시돼야 한다. 하지만 이 기본 조건은 대부분 무시됐다. 잘못된 믿음과 과장이 실제 사회적 결과를 낳는 상황에서 이를 공개적으로 논의해야 하는 이유다. AI가 인간과 본질적으로 같고 의식과 지능을 지녔다는 주장의 핵심 문제는 증거 자체가 아니라, 기본적인 증거 기준을 포기한 채 그 믿음을 받아들이려는 태도다. 이는 사회와 지식 체계 모두를 잠식할 수 있는 새로운 신념 체계다.

역사적으로 인간을 이해해 온 기준에 따르면 AI는 인간이 아니다. 인간은 주관적 경험과 자아, 의도, 신체성, 관계성을 지닌다. 반면 경험적으로 관찰되는 AI 시스템은 토큰 예측을 통해 인간 언어의 일부 특성을 모방하는 문장을 생성한다. 특정 능력을 보여줬다는 사실은 그 능력의 증거일 뿐, 관찰되지 않은 복합적인 주관적 상태까지 입증하지는 않는다.

이러한 구분은 지난 세기 인지혁명 시기에 힐러리 퍼트넘(Hilary Putnam)이 제시한 비판과 맞닿아 있다. 특정한 행동이나 기능적 특성만으로 완전한 정신 능력을 추론해서는 안 된다는 것이다. 경험주의만으로 정신이나 의식이라는 현상을 확립할 수는 없다. 다만 인간은 타인도 자신과 같은 정신을 지녔다고 추론하는 ‘마음 이론’을 통해 이를 판단한다. 튜링 테스트가 일정한 효과를 발휘한 이유도 여기에 있다. 많은 사람은 의식과 정신을 신체적 현실과 경험에 기반한 여러 속성의 결합으로 받아들인다.

AI를 둘러싼 기술·사회적 논의는 인간 본성을 기술화하려는 시도로 이해할 필요가 있다. 인간성과 의식을 공학적 문제로 바꾸고, 사람을 자동기계와 유사한 존재로 축소하는 흐름이다. AI와 결합한 소셜 미디어는 이미 이 과정을 시작했다. 대중은 이를 제대로 이해하지 못했지만, 인간의 특성을 수치화해 시장의 이익을 얻으려는 주체들은 그 가치를 잘 알고 있었다.

인간을 예측시장의 확률 지표로 이해할 때 이 논쟁의 의미는 더욱 분명해진다. 하버드대학교 명예교수 쇼샤나 주보프(Shoshana Zuboff)는 AI가 인터넷에 공개되기 훨씬 전부터 사람들이 자신도 모르는 사이에 ‘원격 통제’될 수 있다고 기록하고 경고했다. 인간의 욕망을 채굴하고 관심을 유도하며 행동을 예측하는 방식은 이미 10여 년 전 구글과 포켓몬 고(Pokémon Go)를 통해 본격화됐다. 위치 기반 행동 데이터를 추출하고 상업적으로 감시하는 ‘행동경제’의 대표적 사례다.

비슷한 시기에 케임브리지 애널리티카(Cambridge Analytica)는 정치적 여론의 인위적 형성을 시도했고, 페이스북은 행동 수정 실험을 실시했다. AI는 인간의 의도를 추론하고 모델링해 행동에 개입할 수 있는 규모와 깊이를 비약적으로 확대한다. 디지털·지식경제의 첫 단계가 인간의 관심을 차지하기 위한 경쟁이었다면, 새롭게 등장한 AI 경제는 인간의 의도를 확보하고 형성하는 경쟁으로 나아갈 수 있다. 앞으로 치러질 미국 선거는 이러한 AI 활용의 초기 양상을 보여주는 핵심 사례가 될 것이다.

주보프는 지난 10년 동안 이 같은 전략이 자신이 명명한 ‘감시 자본주의’로 확장됐다고 분석했다. 소프트웨어가 발전하고 컴퓨팅 성능이 높아지며 AI 기반 감시가 인간의 정신과 신체 내부로 깊이 들어갈수록, 의도를 만들어내는 행위는 일상화될 수 있다.

최근 한 유명 투자자는 1,900만 명이 구독하는 팟캐스트에서 시장에서 인간에게 무엇이 남는지를 언급했다. 그의 답은 사람이 팔 수 있는 것은 결국 자기 자신뿐이라는 것이었다. 그는 “당신의 유일한 자산은 당신 자신”이라며 모든 사람이 자신을 판매하는 데 능숙해야 한다고 주장했다. 이어 신체와 정신이 기계로 대체된 뒤에는 “무엇을 팔 수 있겠는가”라고 물었다.

이러한 시장 낙관론을 따라가면 대부분의 일자리를 기계가 대체하더라도 인간의 감정과 직관을 판매하고, 의도와 관심을 추출할 수 있도록 사람을 최소한 생존시켜야 한다는 결론에 이른다. 이는 영화 ‘매트릭스’가 그린 세계와 크게 다르지 않다. 자본주의를 사랑한다고 밝힌 이 투자자는 로봇이 마사지를 잘하지 못할 수 있으므로 인간이 마사지사가 되는 미래를 상상했다. 그렇다면 인간은 다시 근육을 사용하는 기계적 노동으로 돌아가되, 이번에는 ‘애정’까지 상품으로 판매하게 되는 것인가. 이 발언이 담긴 영상은 공개 2주 만에 470만 회의 조회수를 기록했다.

주보프는 또 다른 사례에서 한 과학자의 발언을 소개한다. 과학자들이 사람들이 춤출 음악을 만들고, 데이터를 가장 높은 가격을 제시한 구매자에게 팔아 사람을 ‘상업용 동산’으로 전락시킨다는 내용이다. 과거에는 관심이 중요했지만, 오늘날 기업과 정부가 가장 원하는 것은 인간의 ‘의도’다. 의도에서 추출된 인간의 미래가 시장에서 거래되는 것이다. 소셜미디어가 자기중심적인 관심의 블랙홀을 만들었다면, AI는 집중된 관심의 방향을 결정하는 의도까지 만들어내려 한다.

인공지능과 인간 본성의 기술화 ㅡ이러한 기계들은 무엇이며, 우리는 어떤 존재가 될 위험에 처해 있는가./ 이미지=레인 하트셀

논의를 이어가기 전에 서로 혼용되는 몇 가지 개념을 구분할 필요가 있다. 여기서 의식은 인식의 배경, 즉 ‘알고 있는 존재 상태’를 의미한다. 알아차림은 일반적으로 노력을 필요로 하는 지향적 관심을 뜻한다. 의식은 하나로 연결된 연속체다.

자아는 내적·외적 상태를 식별하고 관계 능력의 방향을 정한다. 이 과정에서 의도는 인간이 결정을 내리는 방식의 토대가 된다. 자아는 고정된 실체가 아니라 관계 속에서 형성되는 역동적 존재다. 의도는 관심의 방향을 정하며, 관계성과 창의성은 이를 통해 발견과 혁신으로 이어진다. 창의성은 상상력을 실제로 적용하는 능력이다.

관심이 의도를 따라간다는 연결 구조는 인간관계의 직접적인 토대를 이룬다. 우리가 타인의 관심을 원하는 것도 이 때문이다. 인간은 자신의 주관적 경험과 언어, 그 밖의 경험적 단서를 바탕으로 타인의 의도를 믿는다. 미국 하와이대학교 동서문화센터의 피터 허쇼크(Peter Hershock)는 인간이 관계 안에서 제공하는 가장 기본적인 요소가 의도와 관심이라고 설명한다. 의식과 의도, 관심, 언어가 결합해 마음 이론을 구성한다.

나는 인간의 관계적·의도적 능력이 빼앗기고 있다고 본다. 이 과정은 사람을 소비자로 고립시킨 관심 채굴에서 시작됐고, 상업적·정치적 이념이 만든 정치적 반향실을 통해 확대됐다. 2022년 이전부터 충분히 기록된 이러한 사회적 해체와 디스토피아는 예상하지 못한 결과가 아니었다.

아이폰이 시장에 나온 2007년부터 이 위험은 예견됐다. 민주화를 가장한 권위주의적 기술 체계였으며, 1984년 애플 매킨토시 광고가 보여준 경고를 역설적으로 현실화했다. 사회는 기술적 공세에 대비하지 못했고, 또 하나의 ‘인지혁명’에 해당하는 변화에 대응할 규제 구조도 마련하지 않았다.

스마트폰은 이른바 ‘빛나는 스키너 상자’가 됐다. 신경전달물질을 둘러싼 대중적 표현을 빌리면 ‘도파민의 마법 스크린’이라고 부를 수 있다. 이는 정교한 감시·행동 수정 장치이며 민주주의와 관계성, 나아가 개인성을 약화시키는 핵심 도구로 작동했다.

의도가 관심의 방향을 정한다면, 인간의 의도에 영향을 미치는 기술은 단순히 정보를 수집하는 기술보다 인간 주체성의 중심부에 더 가까이 접근한다. 의도와 관심을 형성하는 능력이 기술에 의해 장악되거나 대신 수행되면 자유는 제한되고 관계 능력은 쇠퇴한다.

몇 가지 개념을 더 정의할 필요가 있다. 기술(technology)은 응용된 지식이며, 기술 체계(technics)는 그 지식을 적용하는 방식으로 윤리적·도덕적·생태적 차원을 포함한다. 민주적 기술 체계는 사회적 관계를 통해 응용 지식을 확장하지만, 권위주의적 기술 체계는 소수의 주체가 위에서 아래로 기술을 적용하고 다수의 접근을 차단한다.

지능은 단순한 자극이나 반응, 입력과 출력을 넘어 패턴을 인식하고 문제를 해결하며 여러 활동을 수행하는 기능적 능력이다. 반면 계산은 오늘날의 거대한 신경망에서 볼 수 있는 입력·출력 규칙과 처리 과정이다. 수행 능력과 존재론적 실체는 서로 다르다.

AI 윤리의 관점에서 의식과 지능은 신체성에 속한다. 영국의 수학자 앨런 튜링(Alan Turing)이 지능형 기계에 관한 질문을 받고 “우리는 잠수함이 헤엄친다고 말하지 않는다”고 지적한 이유도 여기에 있다.

그러나 오늘날 기술 낙관주의자들은 앤트로픽(Anthropic)의 ‘헌법적 AI 지침’에서 보듯 AI가 “인류의 최선을 구현”해야 한다고 주장한다. 이는 위험한 개념적 혼동이다. AI가 지능과 의식, 신체성을 동시에 갖춘 존재로 취급되기 때문이다.

AI의 계산 능력은 방대한 데이터를 처리하고 의료에 활용할 단백질 구조를 예측하는 방식으로 과학적 연구를 지원할 수 있다. 이는 이미 이룬 놀라운 성과다. 그러나 이러한 기술적 성취가 AI에 인간성이 존재한다는 증거는 아니다.

지금까지 설명한 현상은 인간 본성의 기술화가 시작됐음을 보여준다. 의식과 지능, 의도, 관심을 측정하고 모델링하며 예측한 뒤 궁극적으로 설계할 수 있는 기능으로 환원하는 과정이다. 위험은 기계가 인간과 닮아가는 데만 있지 않다. 인간이 자신을 기계라고 잘못 믿고, 기계를 인간과 같은 존재로 받아들이는 데 더 근본적인 위험이 있다.

의도가 확률적으로, 이어 반복적으로 추론할 수 있는 대상으로 취급되고 관심의 방향이 인위적으로 설정되는 순간, 인간의 주체성은 기술적 관리의 대상이 된다. 소셜 미디어가 인간의 관심을 채굴했다면 AI는 더 깊이 들어가 인간의 의도를 모델링하고 만들어내려 한다.

이렇게 인간은 문자 그대로 원격 통제의 대상이 된다. 기계가 정신을 획득했기 때문이 아니다. 사람들이 기계에 의식이 있다고 믿는 동안 인간의 정신이 계산 대상으로 바뀌기 때문이다.

AI가 의식적 존재라는 믿음을 형성하려는 시도는 기술 낙관주의라는 지적 운동의 핵심 이념이다. 이 이념은 의식 자체를 계산의 산물로 규정한다. 인간을 계산 시스템으로 이해하는 순간, 인간의 의도를 기술적으로 관리하는 일은 실현 가능하고 동시에 상업적으로 이용할 수 있는 사업이 된다.

2부 ‘AI와 사회’는 ‘문화적 거울로서의 AI’에 관한 논의로 이어진다.

이 글은 태국 방콕에서 열린 ‘국가 건설, AI와 흐려진 도덕에 관한 국제회의’와 필리핀 다바오에서 열린 제16회 사회윤리학회 학술대회에서 발표한 강연을 바탕으로 작성됐다.

레인 하트셀은 에너지·경제·환경(3E)을 연구하는 미국 출신 학자다. 태국 방콕 출라롱콘대학교 철학과 과학·기술·사회센터 연구위원이며, 필리핀 민다나오 노스밸리칼리지의 3E·생물지역 서신 연구위원과 일본 도쿄 아시아연구소 연구위원으로 활동하고 있다.

숙명여자대학교 융합학부 조교수와 아시아여성연구원·아태여성정보통신원 연구원, 성균관대학교 및 성균관나노과학기술원 연구교수를 지냈다. 태국 마히돌대학교 시리랏의학센터 분자생물학·생물정보학과 외래강사와 미국 버지니아대학교 의과대학 연구원으로도 활동했다.