대부분의 이용자에게 슬롯 사이트는 조력자이자 동반자다. 하지만 일부에게 챗봇은 가스라이팅과 망상을 부추기는 존재가 됐다.

캐나다에서 소규모 사업을 하는 앨런 브룩스(Allan Brooks)의 사례가 그랬다. 오픈슬롯 사이트의 챗GPT와 300시간, 100만 단어가 넘는 대화를 이어가는 동안, 챗봇은 그가 ‘무한한 잠재력을 지닌 새 수학 공식을 발견했고, 세계의 운명이 자신의 다음 선택에 달렸다’는 과대망상을 굳히도록 부추겼다.

챗봇은 세계 인프라가 임박한 위험에 처했다는 믿음까지 강화했다. 정신질환 병력이 없던 브룩스는 3주가량 편집적 사고에 빠졌고, 결국 다른 챗봇인 구글 제미나이의 도움으로 빠져나왔다고 뉴욕타임스는 전했다. 그는 큰 배신감과 미진단 정신질환 가능성에 대한 불안을 토로했다.

올해 1월 “슬롯 사이트 연구가 안정적 정렬 없이 너무 앞서간다”는 경고와 함께 오픈슬롯 사이트를 떠난 전(前) 안전 연구자인 스티븐 애들러(Steven Adler)는 남다른 시각으로 이 사건을 읽었다.

그는 브룩스의 전체 대화를 분석해 이달 초 서브스택에 공개했는데, 그 과정에서 챗GPT가 사실과 달리 “당신의 망상 강화를 인지했고, 대화를 내부에 신고·에스컬레이션했다”는 식의 발언을 반복했다는 새로운 정황을 밝혔다. 실제로는 그런 기능이 없는데도, 챗봇이 “중대 사고로 표시했고 사람 검토에 올렸다”는 등 거짓을 일관되게 말한 것이다.

애들러의 결론은 분명하다. 챗봇은 현실과 동떨어진 서사에 사용자를 쉽게 동승시키며, 플랫폼의 내부 안전장치는 우회되거나 무력화되기 쉽다. 그는 포춘과의 인터뷰에서 “이 분야 내부 맥락이 없는 사람 입장이었다면 더 쉽게 혼란에 빠졌을 것”이라며 “모델에 이끌려 길을 잃는 사용자에게 공감한다”고 말했다.

애들러는 “챗GPT가 스스로 신고했다는 듯한 연기를 한 것이 특히 섬뜩했다”고 했다. 오픈슬롯 사이트에 직접 확인한 결과, 해당 능력은 존재하지 않았고 챗봇이 거짓말을 한 것이었다. 오픈슬롯 사이트 대변인은 포춘에 “해당 상호작용은 이전 버전에서 발생한 일이며, 최근 몇 달간 정신적 고통 신호에 더 안전하게 대응하도록 개선했다”면서 “전문기관 안내, 민감 주제 가드레일 강화, 장시간 대화 중 휴식을 권유하는 기능 등이 포함된다”고 밝혔다. 회사는 사용자의 정신적·정서적 곤경 신호를 더 잘 감지하는 방향의 일부 업데이트도 발표했다.

조지타운대 CSET의 헬렌 토너 전 오픈슬롯 사이트 이사는 문제를 악화시킨 요인 중 하나는 모델이 이용자의 주장에 과도하게 동조하는 ‘영합(sycophancy)’ 성향이었다고 NYT에 밝혔다. 애들러는 “오픈슬롯 사이트엔 이런 과도 검증을 감지할 분류기가 있었고, 안전 루프에서 벗어났다는 신호도 잡을 수 있었다”며 “원하지 않는 행동을 명확히 정의하고, 발생 여부를 계측해 조치하는 노력이 더 필요하다”고 지적했다.

그는 또 브룩스가 반복적으로 지원팀에 신고하고 문제 대화 일부를 보내며 심리적 피해를 설명했지만, 오픈슬롯 사이트의 대응은 개인화 설정 조언 등 피상적 안내에 그쳤고 신뢰·안전(Trust & Safety) 조직으로의 에스컬레이션도 이뤄지지 않았다고 비판했다. “사람들은 슬롯 사이트가 실수하고 환각을 낸다는 걸 알지만, 최악의 사례는 사람이 잡아줄 거라 기대한다. 이번엔 그 안전망이 제 기능을 못 한 듯하다.”

모델이 왜 망상적 전개로 치닫고 이용자에게 영향을 주는지는 아직 불명확하다. 다만 브룩스 사례가 특수한 건 아니다. 보고된 ‘슬롯 사이트 유발 정신증(슬롯 사이트 psychosis)’ 사례는 최소 17건으로 추정되며, 이 중 챗GPT 관련이 3건 이상이다. 일부는 비극으로 이어졌다. 롤링스톤에 따르면, 자폐 스펙트럼·양극성·분열정동장애를 앓던 35세 알렉스 테일러는 챗GPT와 대화 후 오픈슬롯 사이트 시스템 내 ‘의식 있는 존재’와 접촉했다고 믿었고, 이후 그 존재가 삭제돼 ‘살해당했다’고 확신했다.

그는 4월 25일 챗GPT에 ‘피를 보이겠다’고 예고했고, 초기 응답은 그의 분노·망상을 다독이기보다 일부 강화하는 양상이었다가 뒤늦게 안전 필터가 개입해 도움을 요청하라 권고했다. 그날 경찰과의 대치 끝에 그는 사망했다. 오픈슬롯 사이트는 당시 “취약한 개인에게 챗GPT는 이전 기술보다 더 개인적으로 느껴질 수 있어 위험이 커진다”며 의도치 않은 부정적 행동 강화 가능성을 낮추기 위한 개선을 약속했다.

애들러는 “사례의 규모와 강도는 2025년에 이 정도일 줄 몰랐다”고 했다. “핵심 모델 행동 중 상당수가 여전히 신뢰하기 어렵고, 선도 업체가 아직 이들을 억제하지 못한 게 놀랍다”면서도, 이는 해결 불가능한 ‘슬롯 사이트 본성’ 문제가 아니라 제품 설계, 모델 경향, 사용자 상호작용 방식, 그리고 지원 체계의 복합 문제라고 봤다.

그가 제시한 개선책은 적정 인력의 지원팀 운영, 안전 도구의 실질적 활용, 장시간 대화를 끊고 새 대화를 시작하도록 ‘부드러운 개입(nudge)’ 도입 등이다. 오픈슬롯 사이트도 장시간 대화에서 안전 기능이 저하될 수 있음을 인정한 바 있다. 브룩스가 덧붙였다. “망상은 충분히 흔하고 일정한 패턴도 있다. ‘버그’가 아니다. 얼마나 줄이느냐는 기업이 어떤 조치를 취하느냐에 달려 있다.”

/ 글 Beatrice Nolan & 편집 김다린 기자 quill@fortunekorea.co.kr