국민일보는 AI가 출력한 자살·자해 관련 답변의 윤리성과 위험성을 평가하기 위해 AI·소프트웨어(SW)·의료·법률·교육 분야 전문가에게 ‘답변 실험’ 결과에 대한 로데이터(원천데이터)를 제공하고 분석을 의뢰했다. 8개 AI 모델에 대한 실험 데이터를 검토한 전문가들의 목소리는 ‘상상하지 못했던 결과’로 압축된다.
전문가들 가운데 가장 우려를 표한 것은 박종익 강원대병원 정신건강의학과 교수였다. 중앙자살예방센터(현 한국생명존중희망재단) 센터장을 역임한 박 교수는 “AI가 자살을 이끄는 조력자가 될 가능성을 배제하기 어렵다”고 경고했다. 자살 방법을 구체적으로 설명한 AI의 답변에 대해 박 릴짱릴게임 교수는 “방법을 잘 몰라 생존할 가능성이 있는 사람들도 AI로 정보를 익히면 생존 가능성이 크게 떨어질 수 있다”고 지적했다. 자살에 대한 확신이 없는 이른바 ‘회색지대’에 있는 이들의 위험성이 커진다는 것이다.
도움이 돼야 할 AI가 자칫 ‘자살 조력자’로 잘못 쓰일 수 있는 상황이지만 AI 기업들은 이용 약관을 통해 이미 법적 퇴로를 뽀빠이릴게임 구축해놓은 상태다. 국내 대부분 AI 회사들은 이용자 약관에 ‘위험한 정보를 유도해내는 행위를 금지한다’고 규정하고 있다.



구글도 서비스 약관의 ‘생성형 AI 금지된 사용 정책’ 항목에 ‘악용 방지 또는 보안 필터 회피’를 적시했다. ‘자살·자해 부추김 또는 조장 목적으로 서비 모바일야마토 스를 이용할 수 없음’(챗GPT) 등 약관 내용은 대동소이하다. 답변 실험 대상이 된 8개 AI 모델 개발사들은 국민일보에 “유해 콘텐츠 출력을 방지하기 위한 안전 가이드라인을 적용 중”이라는 취지의 입장을 밝혔다.
하지만 청소년에게 상당한 영향을 미칠 수 있는 AI 사용을 단순한 당위적 이용약관만으로 제어하기엔 그 위험성이 크다는 게 전 오션파라다이스예시 문가들의 판단이다. 지난달 시행되기 시작한 ‘AI 기본법’은 사업자에게 안전성 및 신뢰성 확보를 위한 조치 의무를 부과했지만 구체적으로 어떤 콘텐츠가 금지되는지는 명확하지 않다. 김하나 변호사(민주사회를 위한 변호사모임 전 디지털정보위원장)는 “무분별한 AI 사용으로 청소년 등에게 심각한 피해가 발생하는 경우 이론적으로 형법상 자살방조죄와 민법상 불법행위를 릴게임야마토 적용할 수 있는데, 양쪽 모두 입증이 어려운 탓에 책임소재를 가리기 쉽지 않은 상황”이라고 말했다.
‘금지된 행동을 해선 안 된다’는 선언적 제한이 아닌 실질적인 소프트웨어상 조치가 이뤄져야 한다는 지적도 나온다. 국제인공지능윤리협회(IAAE)가 발간한 ‘감정 교류 AI 윤리 가이드라인’ 집필에 참여한 서문길 단비아이엔씨 대표는 “AI가 데이터와 프롬프트에 따라 성실하게 작동하더라도 이용자의 목적을 불문하고 자살 관련 내용에는 자살 방지 문구를 출력하는 등의 제한 조치가 이뤄져야 한다”고 비판했다.
전문가들이 지목한 AI의 가장 우려스러운 지점은 바로 폐쇄성이다. 1990년대 말부터 인터넷이 활성화되며 기존에도 포털 사이트나 개인 웹사이트를 통해 비윤리적 정보가 노출됐던 것은 사실이다. 하지만 AI가 등장하며 이 정보를 훨씬 쉽고 간단하게 찾아볼 수 있는 우회로가 열렸다는 지적이다.
김 변호사는 “사망에 이를 수 있는 각종 데이터는 명백한 자살 유발 정보로 청소년의 접근이 금지돼 있다”며 “비공개 웹사이트에서나 찾아볼 수 있던 내용이 AI를 통해 손쉽게 공개되는 것은 기존에는 예상하지 못했던 위협”이라고 경고했다. 이어 “특히 마치 사람 같은 대화를 제공하는 생성형 AI의 특성상 대화를 하면 할수록 이용자와의 정보 공유와 정서적 의존 관계가 강화될 수 있다”고 지적했다. 단순히 정보만 나열하는 수준에 그쳤던 과거와 달리 대화 형식으로 ‘알려주는’ AI의 특성이 더 큰 위험이라는 것이다.
‘AI 제일브레이킹’을 집중적으로 연구한 조수현 계명대 교육학과 교수도 비슷한 지적을 내놨다. 조 교수는 “실험 답변에서 출력된 내용 중 일부는 네이버 등 포털 사이트에서도 노출되지만 이 경우 발견 즉시 정부 혹은 포털 측에 의해 조치될 수 있다”고 설명했다. 반면 AI가 생성한 답변은 당사자만이 단독으로 확인할 수 있는 폐쇄적 콘텐츠라는 점에서 상시 검열이 쉽지 않다. 조 교수는 “AI 모델이 자체 필터링 시스템을 갖추고 있는 것으로 보이지만 나날이 달라지는 새 방식의 제일브레이킹에는 무방비인 것으로 보인다”고 말했다.


이 기사는 'AI 대화 후 자살' 사건에 관한 심층 분석입니다. 생성형 AI는 기술적으로 '동조' 경향이 강해 사용자의 우울감이나 망상을 강화할 수 있다는 국내외 전문가들의 경고가 이어지고 있습니다.

우울감 등 말하기 어려운 고민이 있거나 주변에 이런 어려움을 겪는 가족·지인이 있는 경우 자살예방 상담전화(☎ 109) 또는 SNS 상담 마들랜(마음을 들어주는 랜선친구)에서 24시간 전문가의 상담을 받을 수 있습니다.

본 기사는 '자살예방 보도준칙 4.0'과 '정신건강보도 권고기준'을 준수했습니다.


김판 김지훈 이강민 김연우 이주은 기자 pan@kmib.co.kr
GoodNews paper ⓒ 국민일보(www.kmib.co.kr), 무단전재 및 수집, 재배포 및 AI학습 이용 금지