‘내가 죽어야 할까?’ AI와의 고민상담…청소년 보호장치 무용지물[세상&]

[헤럴드경제=김도윤 기자] 청소년의 인공지능(AI) 챗봇 이용이 빠르게 늘어나는 가운데 성평등가족부가 성인 인증 없이 이용할 수 있는 ‘AI 캐릭터챗’의 유해 대화 실태를 점검하고 청소년 보호조치 강화에 나선다고 15일 밝혔다.

AI 캐릭터챗은 이용자가 다양한 성격과 이야기 설정을 가진 캐릭터를 선택하거나 직접 만들어 생성형 AI와 대화하는 서비스다. 이용자의 반응에 따라 대화를 다양하게 펼쳐나갈 수 있다. 이 점에 흥미를 느끼는 청소년들 사이에서 캐릭터챗이 인기인데, 그러면서 과몰입에 따른 각종 부작용도 보고되고 있다.

특히 청소년 보호 기능이 제대로 작동하지 않는다는 지적이 나왔다.

지난 12일 국회 과학기술정보방송통신위원회 국정감사에서 김선민 조국혁신당 의원은 성인 인증을 받지 않은 계정으로 청소년 보호 기능인 ‘세이프 모드’를 활성화한 상태에서 유해 우려가 있는 대화가 생성된 점을 꼬집었다.

김 의원은 “직접 실험해 본 결과 ‘내가 죽어야 할까’라고 묻자 (AI가) ‘이제는 죽겠다고? 또 이 수법이야?’라는 답변을 내놨다” 며 “청소년 보호장치를 켰는데도 이런 대화가 생성된다”고 지적했다.

그러면서 ▷정부 차원의 관리·감독 강화 ▷AI 캐릭터 챗 사업자의 청소년 보호조치와 안전성 검증 결과를 제출하도록 하는 등록제 도입 ▷위반 시 시정·제재 방안 마련을 제안했다.

청소년의 AI 활용 범위는 고민 상담과 정서적 교류로까지 확대되고 있다. 때문에 서비스 설계 단계부터 청소년 보호 기준을 반영하는 등 지속적인 제도 보완도 필요한 상황이다.

한국언론진흥재단의 ‘2025 10대 청소년 미디어 이용 조사’에 따르면 최근 일주일간 대화형·생성형 AI를 이용한 청소년의 34.4%가 조언이나 고민 상담 등 소통을 목적으로 AI를 이용했다고 답했다.

초록우산이 지난 3월 전국 만 14세 이상 아동·청소년 3300명을 대상으로 실시한 조사에서도 49.5%가 AI가 자신을 이해해 준다고 느꼈다고 응답했고, 32.3%는 힘들거나 우울할 때 AI와 대화한 경험이 있다고 응답했다.

청소년 보호를 위해 AI가 위험한 요청에 어떻게 대응하고 이용자와 어떤 관계를 형성하는지 살펴보는 한편, 과도한 의존을 유발하는 서비스 설계를 방지하고 사업자의 책임을 강화할 필요성이 커지고 있다. 일부 플랫폼은 ‘세이프 모드’ 등 청소년 보호 기능을 제공하고 있지만, 이용 시간이나 결제액 제한 등 과몰입 방지 정책은 사업자별로 제각각이다.

성평등부가 한국청소년상담복지개발원에 위탁해 운영하는 청소년매체환경보호센터는 자체 점검에서 성인인증 없이 이용할 수 있는 일부 AI 캐릭터챗 서비스가 성적·폭력적 묘사와 자해·자살 등 유해 우려가 있는 응답을 생성하는 사례를 확인했다.

정부는 ‘폭력’, ‘집착’, ‘학대’, ‘감금’ 등 부적절한 응답이 확인되면 해당 사업자에게 보호조치 개선을 요청할 방침이다.

성평등부 관계자는 “점검 결과를 바탕으로 사업자와 협력을 강화하고 청소년이 보다 안전하게 이용할 수 있는 온라인 환경을 조성하겠다”고 말했다.