“기술이 확실히 안전하고 통제 가능하다고 입증될 때까지, 초지능(Superintelligence), 즉 인류 전체의 지능을 능가할 수 있는 AI 개발을 금지하라.”

AI 과학자, 유명 인사, 정책가, 종교 지도자들이 서명한 공개서한이다. 서명자에는 노벨상 수상자이자 AI 개척자인 제프리 힌턴을 비롯해 요슈아 벤지오, 스튜어트 러셀 등 석학과 버진 공동창업자 리처드 브랜슨, 애플 공동창업자 스티브 워즈니악 같은 기업인이 포함됐다. 배우 조셉 고든 레빗(최근 메타의 AI 제품에 우려 표명), 윌아이앰, 해리 왕자와 메건 마클(서식스 공작·공작부인) 등 유명 인사도 이름을 올렸다.

도널드 트럼프 측근 전략가 스티브 배넌과 조지 W. 부시·버락 오바마 행정부에서 합참의장을 지낸 마이크 멀런 등 안보 인사까지 더해져, 총 1000명 이상의 서명 명단이 공개됐다.

이번 서한을 주도한 비영리 단체 ‘퓨처 오브 라이프 인스티튜트’가 병행 실시한 여론조사에 따르면, 초강력 AI 개발 유예 요구에 대한 대중의 공감대가 확인됐다. 미국에선 성인 응답자의 5%만이 현재처럼 규제 없는 첨단 AI 개발을 지지했고, 64%는 “안전성과 통제 가능성이 입증될 때까지 초지능을 개발해선 안 된다”고 답했다.

첨단 AI에 대한 강력한 규제를 원한다는 응답도 73%에 달했다. 이 단체의 맥스 테그마크 회장은 “미국인의 95%가 초지능 경쟁을 원치 않으며, 전문가들도 금지를 요구하고 있다”고 밝혔다.

초지능은 대부분의 인지 과제에서 인류 전체를 능가하는 AI를 뜻한다. 달성 시점이나 가능성에 대해선 합의가 없다. 일부 공격적 전망은 2020년대 후반을 거론하지만, 보수적 시각은 훨씬 뒤로 미루거나 현 기술로는 불가능할 수 있다고 전망한다.

그럼에도 메타, 구글 딥마인드, 오픈AI 등 주요 연구소는 이 수준의 고도 AI를 공개적으로 추구하고 있다. 서한은 이들 연구소에 “과학계의 폭넓은 합의와 강한 대중적 동의가 형성되기 전까지” 해당 역량 개발을 중단하라고 촉구했다.

튜링상 수상자 요슈아 벤지오는 성명에서 이렇게 말했다. “프런티어 AI 시스템은 몇 년 안에 대부분의 인지 과제에서 개인을 능가할 수 있다. 초지능을 안전하게 향해 나아가려면, 오작동(정렬 실패)이나 악용을 통해 사람에게 해를 끼칠 수 없도록 근본적으로 설계하는 방법을 과학적으로 규명해야 한다. 또한 우리의 공동 미래를 좌우할 결정에 대해 대중이 훨씬 더 강한 발언권을 가져야 한다.”

서명자들은 초지능 추구가 경제적 대체·권한 상실을 부르는 심각한 위험을 낳고, 국가안보와 시민자유에도 위협이 된다고 지적했다. 빅테크가 안전장치나 감독, 광범위한 공적 동의 없이 잠재적으로 위험한 기술을 밀어붙이고 있다는 비판도 담았다. 배우 스티븐 프라이는 “인류가 AI로부터 최대의 가치를 얻기 위해 굳이 알 수 없고 위험성이 높은 초지능을 향해 나아갈 필요는 없다” “정의상, 우리는 그런 힘을 이해도 통제도 할 수 없을 것”이라고 말했다.

/ 글 Beatrice Nolan & 편집 김다린 기자 quill@fortunekorea.co.kr