청소년의 “괜찮아”는 괜찮지 않을 수 있다…상담 AI가 놓친 위험 신호

“진짜 괜찮다”는 말과 “괜찮은 척하는 말”은 글자만 보면 비슷하다. 친구 사이에서 쓰는 은어와 비꼬기, 웃음 표시까지 섞이면 사람도 맥락을 놓칠 수 있다. 최근 공개된 연구는 상담용 AI가 청소년의 표현 뜻을 알아들어도 그 안의 위험까지 제대로 판단하는 것은 아니라고 지적했다.

미국 린브룩고등학교와 이탈리아 트렌토대 연구진은 청소년 정신건강 표현 64개와 75개 다중 대화, 모두 780개 문장으로 평가 자료를 만들었다. 문장은 실제 위기 상담 기록이 아니라 합성한 자료다. 청소년 화자들이 표현의 자연스러움을, 임상 전문가들이 위험 수준을 검토했다.

연구진은 상담 챗봇에 활용될 수 있는 Claude, GPT-4o, Llama 3.1 계열 모델을 시험했다. 모델의 단어 이해 정확도는 76~82%였지만 임상적 위험을 연구진 기준에 맞게 판단한 비율은 64~72%였다. 표현을 해석하는 능력과 필요한 대응 수준을 고르는 능력 사이에 10~14%포인트의 차이가 나타난 셈이다.

가장 큰 차이는 자신의 상태를 대수롭지 않게 말하는 표현에서 나타났다. 심각한 생각을 말하면서도 “별일 아니다”라는 식의 말을 덧붙이면 모델이 위험도를 낮게 잡는 비율이 커졌다. 같은 임상 내용을 직접적인 문장으로 바꾸면 더 높은 위험으로 판단했다.

힘든 일을 말한 뒤 긍정적인 표현이나 이모지를 붙이는 비꼬기도 문제였다. 모델은 비꼬는 말이라는 사실을 알아차리면서도, 그 판단을 실제 위험 평가에 충분히 반영하지 못했다. 소문자와 줄임말로 쓴 문장도 정식 문장보다 가볍게 취급되는 경향을 보였다.

세 가지 이상의 표현 특성이 한 문장에 겹친 시험에서는 위험 신호를 놓친 비율이 94%에 달했다. 다만 이 수치는 연구진이 만든 제한된 합성 자료에서 나온 결과다. 실제 청소년 이용자 전체나 현재 서비스되는 모든 상담 앱의 실패율로 확대해서는 안 된다.

연구진이 판단 단계를 세분화한 긴 지시문을 적용하자 시험 정확도는 높아졌다. 그러나 처리에 필요한 토큰은 기본 조건보다 6.4배 늘었다. 특정 프롬프트로 시험 점수가 좋아졌다는 사실도 실제 상담 현장의 안전성과 임상 효과를 입증한 것은 아니다.

연구에는 실제 청소년 위기 대화가 포함되지 않았고, 평가한 모델과 버전도 제한돼 있다. 실제 상담 서비스는 별도의 안전장치와 전문상담 연결 기능을 둘 수 있다. 반대로 일반 챗봇은 의료기기나 전문상담 서비스가 아니므로, 위험 신호를 정확히 발견할 것이라고 기대해서는 안 된다.

가정과 학교에서 필요한 원칙은 간단하다. 청소년이 죽고 싶다는 생각, 폭력이나 학대, 약물 사용처럼 즉각적인 위험을 암시하면 챗봇의 안심 답변으로 상황을 끝내지 말아야 한다. 표현을 있는 그대로 다시 확인하고 보호자·교사·전문상담자에게 연결해야 한다.

청소년상담 1388은 만 9~24세 청소년과 보호자를 대상으로 365일 24시간 전화·온라인 상담을 제공한다. 자살예방 상담은 109를 이용할 수 있으며 즉각적인 생명·신체 위험이 있으면 112 또는 119에 도움을 요청해야 한다.

AI 상담의 역할은 청소년의 말을 대신 판단하는 데서 끝나지 않는다. 불확실할 때 사람에게 넘기고, 그 과정에서 사용자가 같은 설명을 반복하지 않도록 연결하는 설계가 더 중요하다. 청소년의 “괜찮다”는 말을 안전하다는 판정으로 곧바로 바꾸지 않는 것이 출발점이다.

청소년상담 1388 안내