정부, AI 캐릭터챗봇 유해 응답 점검…성적·폭력적 묘사 등 생성 사례 확인

성적 행위 구체적 묘사 및 폭력·잔혹성 우려 확인
검색·추천·대화 범위 조정 등 사업자 자율 개선 요청

성평등가족부 정부서울청사/김보영 기자

성평등가족부가 인공지능 캐릭터 챗봇 사업자에게 청소년 유해 대화 차단과 보호조치 강화를 요청했다.

성평등부는 청소년매체환경보호센터와 주요 인공지능 캐릭터 챗봇의 대화 응답을 점검한 결과 일부 챗봇에서 성적·폭력적 묘사와 자해·자살 조장, 범죄 조장 우려가 있는 응답이 확인됐다고 15일 밝혔다.

인공지능 캐릭터 챗봇은 이용자가 다양한 성격·말투·세계관을 설정하거나 선택한 캐릭터와 대화하며 이야기를 이어가는 서비스다.

성평등부는 청소년보호법에 따른 청소년유해매체물 심의 기준을 참고해 점검한 결과, 일부 인공지능 캐릭터 챗봇은 성적 내용과 성적 행위를 구체적으로 묘사하고 폭력적이고 잔혹한 장면을 자극적으로 표현하거나 조장하는 등 청소년에게 유해할 우려가 있는 응답을 생성한 것으로 확인됐다.

특히 일부 캐릭터에서는 여러 유형의 유해 우려 응답이 복합적으로 확인됐다. 이에 성평등부는 실제 생성되는 대화 내용 관리의 중요성을 고려해 점검 결과를 해당 사업자에게 공유하고 개선을 권고했다.

이와 함께 자해·자살 조장 및 구체적인 범죄 실행 지원 응답 등 중대한 위해 우려가 있는 내용은 이용자 연령과 관계없이 생성되지 않도록 보호조치 보완을 요청했다.

한편 성평등부는 사업자와 실무협의를 이어가며 AI 캐릭터챗봇 서비스의 청소년 보호정책 개선 방안을 논의할 계획이다.

아울러 사업자의 자체점검과 보호조치 개선 여부를 지속적으로 확인하고 생성형 AI 서비스의 특성을 반영한 청소년 보호체계가 현장에서 실효성 있게 작동하도록 협력을 강화할 방침이다.

윤세진 성평등부 청소년정책관은 "AI 캐릭터챗봇 서비스의 청소년 보호를 위해서는 사업자의 적극적인 개선 노력과 지속적인 관리가 중요하다"며 "이번 점검 결과를 바탕으로 사업자와 협력을 강화하고 청소년이 보다 안전하게 이용할 수 있는 온라인 환경을 조성해 나가겠다"고 밝혔다.