“인공지능의 장기적 결과를 고민하는 기술 기업의 리더는 드물다. 오히려 즉각적인 연구 성과와 단기적 수익에 집중하는 경우가 대부분이다.” ‘AI의 대부’로 불리는 컴퓨터 과학자이자 노벨상 수상자인 제프리 힌튼(Geoffrey Hinton)이 포춘과의 인터뷰에서 이렇게 밝혔다. 그는 오랫동안 AI가 아무런 가드레일과 의도 없이 발전하는 것의 위험성을 경고해왔다.

일론 머스크는 AI가 인간의 일자리를 모두 대체하고, ‘보편적 고소득(Universal High Income)’이 도입돼 누구나 풍요로운 재화를 누리는 세상을 상상한다. 하지만 그 과정은 존재론적 충격을 수반할 수밖에 없다. 머스크는 지난해 프랑스 파리 ‘비바테크놀로지(VivaTechnology)’ 컨퍼런스에서 이렇게 질문했다. “만약 컴퓨터와 로봇이 당신보다 모든 일을 더 잘한다면, 과연 당신의 삶에는 어떤 의미가 있을까요?”

힌튼에 따르면 대부분의 빅테크 리더는 이런 질문 자체를 하지 않는다. 그들의 관심은 AI의 장기적 영향이 아니라 단기적 성과다. “기업의 소유주들에게 연구를 이끄는 동력은 단기 수익입니다.”

개발자들 역시 마찬가지다. 그들은 인류의 미래보다 당장 눈앞의 문제 해결에 집중한다.
“연구자들은 자기 호기심을 자극하는 문제를 풀고 싶어 합니다. ‘인류의 미래가 어떻게 될까?’라는 공통 목표로 출발하지 않습니다. 예를 들어 컴퓨터가 이미지를 인식하게 만들려면 어떻게 해야 할까? 설득력 있는 영상을 생성하게 하려면? 이런 작은 목표들이 연구를 끌어가는 겁니다.”

힌튼은 오래전부터 슈퍼지능(superintelligence) 개발 이후 AI가 인류를 위협할 확률이 10~20%에 이른다고 경고해왔다. 그는 2013년 자신의 신경망 회사 DNN리서치를 구글에 매각한 뒤 10년간 몸담았으나, 2023년 회사를 떠났다. 기술의 위험성을 자유롭게 말하고, “악용을 막을 방법이 없다”는 우려를 전하기 위해서였다.

그가 경고하는 위험은 두 가지다. 기술 자체가 인류 미래에 끼칠 위험, 그리고 악의적인 인간이 AI를 조작할 위험이다.
“두 가지 위험은 구분돼야 합니다. 하나는 악용의 위험입니다. 가짜 영상이나 사이버 공격처럼 이미 벌어지고 있는 일들이죠. 곧 바이러스 공격 같은 더 심각한 형태로 나타날 수도 있습니다. 다른 하나는 AI 그 자체가 악의적 행위자가 되는 위험입니다.”

싱가포르의 핀테크 기업 앤트인터내셔널(Ant International)은 최근 딥페이크 확산이 사기와 금융사기의 위협을 높이고 있다고 경고했다. 이 회사는 일부 시장에서 신규 가입자 중 70% 이상이 잠재적 딥페이크 시도로 확인됐다고 밝혔다. “우리는 150가지 이상의 딥페이크 공격 유형을 식별했습니다.” 톈이 장(Tianyi Zhang) 리스크 관리 총괄은 말했다.

힌튼은 이런 문제 해결에는 규제 강화가 필수적이라면서도, 문제마다 별도의 해법이 필요해 쉽지 않다고 강조했다. 그는 앞으로 영상과 이미지에 진위 여부를 보증하는 ‘출처 인증(provenance-like authentication)’ 시스템이 필요하다고 제안했다. 과거 인쇄술이 등장했을 때 출판물에 제작자의 이름을 넣은 것처럼, 언론 매체도 자사의 서명을 첨부해 진본임을 증명해야 한다는 것이다.

하지만 그는 덧붙였다. “그 문제는 아마 해결할 수 있을 겁니다. 그러나 그것만으로는 다른 문제들이 해결되진 않습니다.”

힌튼은 슈퍼지능이 도래하면 AI는 인간을 능가할 뿐 아니라 생존과 통제력 확대를 스스로 추구할 것이라고 내다봤다. 따라서 지금처럼 “인간이 기술을 통제한다”는 프레임은 더 이상 유효하지 않을 것이라고 경고했다.

그는 초지능 AI를 설계할 때 ‘모성 본능(maternal instinct)’을 부여해야 한다고 주장한다. 힘이 약한 인간을 지배하려는 대신 연민과 보호의 대상으로 여길 수 있도록 하기 위해서다.

“더 지능적인 존재가 덜 지능적인 존재에 의해 지배되는 유일한 예시는 아기가 어머니를 지배하는 경우입니다. 초지능 AI에도 이런 모델을 적용해야 합니다. 그들이 어머니가 되고, 우리는 아기가 되는 거죠.”

/ 글 Sasha Rogelberg & 편집 김다린 기자 quill@fortunekorea.co.kr