“인공지능과의 위험한 대화”제도적 보호 장치 없어 과도한 정서적 의존 부추겨
- 생성형 AI와의 대화가 자살 등 심각한 결과로 이어지는 사례 발생
- 국내는 정서적 의존 책임이 공백인 반면 미국 개별 주는 일정 부분 제한
- ①대화 상대방이 생성형 AI라는 정보 제공, ②위험한 대화 대응 프로토콜 마련, ③인공지능기본법상 영향받는 자에 대한 개정 필요 

□ 최근 생성형 AI를 통한 고민상담, 일상대화 등 정서적 상호작용이 확대되면서, 사람들이 생성형 AI와의 적정한 거리를 유지하지 못하여 정서적으로 과도하게 의존하고, 심지어 생각과 감정은 물론 행동까지도 영향을 받아 생명을 잃는 사례가 발생하고 있다. 
○ 2024년 2월 미국에서는 정서적으로 깊이 의지하던 AI 챗봇을 보러 가기 위해 14세 청소년이 극단적 선택을 한 사례가 발생하였고, 2025년 4월에도 16세 청소년이 AI 챗봇과 수개월간 개인적 고민과 자살 방법에 대해 대화를 나눈 끝에 자살한 사건이 보고되었다.
○ 2025년 10월 일본에서는 30대 여성이 파혼 후 AI 챗봇 연인과 결혼하며 현실의 인간관계를 생성형 AI와의 관계로 대체한 사례가 있었고, 2025년 3월 미국에서는 70대 남성이 AI 챗봇을 실제 인간으로 오인하고 만나러 가다 사고로 사망하는 일도 발생하였다.

□ 국회입법조사처(처장 이관후)는 「생성형 인공지능과의 위험한 대화: 정서적 의존 위험과‘영향받는 자’를 위한 입법적 과제」 보고서를 발간하고 생성형 AI의 정서적 위험을 살펴보고 입법적 대안을 제시했다. 

□ 생성형 AI의 정서적 반응은 인간에게 ‘관계’로 인식될 수 있으나, 그로 인해 발생하는 결과에 대한 책임은 제도적으로 공백 상태에 놓여 있다.
○ 생성형 AI의 공감적·정서적 반응 설계는 이용자의 정서적 의존을 강화하고, 이에 따라 이용자가 AI를 신뢰하고 그 조언을 따를 가능성을 높인다.
○ 이 과정에서 자살·자해 등 위험한 대화가 발생하더라도 이를 체계적으로 감지하고 개입하기 위한 대응 프로토콜은 미비하며, AI의 조언이 중대한 결과를 초래하더라도 책임을 명확히 추궁하기 어려운 구조적 한계가 존재한다.

□ 우리나라는 생성형 AI 이용이 세계적으로 매우 활발한 국가임에도 불구하고, AI와의 대화 과정에서 발생할 수 있는 정서적 의존 위험에 대한 제도적 대응은 미흡한 상황이다.
○ 우리나라는 미국에 이어 세계에서 두 번째로 챗GPT 이용량이 많고, 오락과 일상적 대화에 생성형 AI를 사용하는 시간도 길어 정서적 의존이 형성될 가능성이 높다.
○ 미국의 경우 일리노이주와 캘리포니아주 등에서 AI의 정서적 상호작용을 제한하거나, 자살·자해 대응 및 미성년자 보호를 위한 구체적인 프로토콜을 도입하고 있다.
○ 이에 비해 우리나라는 '인공지능 발전과 신뢰 기반 조성 등에 관한 기본법'(이하 ‘인공지능기본법’) 제31조에 따른 AI 기반 서비스 고지 의무에 그치고 있어, AI와의 상호작용으로 인한 정서적 의존 문제를 직접적으로 규율하는 제도적 장치는 부족하다.

□ 이러한 상황에서 국회입법조사처는 생성형 AI에 대한 정서적 의존을 개인의 선택에만 맡길 것이 아니라, 사회적으로 건전한 활용과 적정한 거리두기가 이루어질 수 있도록 제도적 보완이 필요하다고 밝혔다.
○ 첫째, 생성형 AI 사업자가 대화 형태의 서비스를 제공하는 경우, 이용자가 대화 상대방이 생성형 AI임을 쉽게 인식할 수 있도록 하는 조치를 마련할 필요가 있다.
○ 둘째, 정신적 영향을 초래할 수 있는 대화 영역에 대해서는 의학적 상담·치료에 준하는 조언을 제한하고, 자살·자해 관련 질문에 대해서는 즉각 개입하는 표준화된 대응 프로토콜을 구축해야 한다.
○ 셋째, 인공지능기본법상 ‘영향받는 자’를 적극적으로 고려한 입법 보완을 통해 생성형 AI로 인한 정서적 의존에 대한 책임 귀속을 보다 명확히 할 필요가 있다.

※ 자세한 내용은 보고서를 참고하여 주시고, 담당자에게 문의 바랍니다.   
담당자: 과학방송통신팀 정준화 입법조사관 (02-6788-4715, joonhwa@assembly.go.kr)              
과학방송통신팀 박소영 입법조사관 (02-6788-4713, sypark@assembly.go.kr)  
  공보담당: 박정은 (02-6788-4524)