영상 속 사람의 입 모양은 자연스러운데 목소리가 어색하거나, 들리는 말과 화면에 뜬 자막이 서로 다르다면 무엇을 확인해야 할까. 경찰이 인공지능(AI)으로 만든 불법 조작물을 수사할 때 영상 한 가지뿐 아니라 음성과 문자 정보를 함께 살피는 기술을 개발하고 있다. 단순히 ‘가짜인지’ 판별하는 데서 나아가, 어떤 도구로 만들어져 어떻게 퍼졌는지도 추적하겠다는 계획이다.

경찰청 국가수사본부는 10월 16일 공개한 ‘AI 불법 조작물 탐지·분석체계 고도화 기본계획’에서 정밀 탐지 시스템, 자동화 분석 도구, 전문인력과 표준 절차를 포함한 8대 과제를 추진한다고 밝혔다. 대응 대상은 딥페이크 성범죄뿐 아니라 명예훼손, 투자사기, 보이스피싱 등 AI를 악용한 범죄로 넓혔다.

이번 발표는 조작물 한 건의 진위를 판단하는 기술과 범죄 행위를 입증하기 위한 수사 역량을 함께 다룬다. 같은 AI 합성물이더라도 누구를 사칭했는지, 어떤 메시지와 결합해 전달됐는지에 따라 조사해야 할 대상이 달라진다. 경찰은 기술 개발과 함께 분석관 운영, 교육, 협력체계를 묶어 대응하겠다고 설명했다.

✦

영상·음성·문자를 같이 보는 이유

경찰은 2024년부터 딥페이크 탐지 시스템을 도입해 활용하고 있다. 기존 시스템에는 한국인 맞춤형 자료를 학습시켜 국내 환경에 맞게 성능을 개선하고 있다. 여기에 새로 개발하는 것은 영상·이미지에 음성과 문자까지 결합하는 ‘멀티모달’ 탐지 기술이다. 영상 속 입 모양과 목소리의 일치 여부, 들리는 말과 자막의 내용이 맞는지 등을 함께 확인하는 방식이다.

이 기술은 이미 전국 수사 현장에 완성된 형태로 배포된 시스템이 아니다. 경찰청 설명에 따르면 ‘허위조작 콘텐츠 진위여부 판별 시스템 개발’ 사업은 2025년부터 2027년까지 3년간 91억 원 규모로 진행 중이다. 연구개발을 마친 뒤 경찰을 포함한 수사기관이 공동으로 쓸 수 있는 시스템 구축을 추진할 계획이다.

영상만 보면 놓칠 수 있는 단서를 여러 매체의 관계에서 찾는다는 점이 핵심이다. 다만 입 모양과 음성, 자막이 일치한다고 해서 곧바로 진짜라는 뜻은 아니다. 경찰 발표는 탐지 성능을 높이기 위한 연구 방향을 설명한 것이며, 모든 조작물을 확정적으로 가려낼 수 있다는 성능 수치는 제시하지 않았다.

현재 쓰는 시스템의 개선과 새 통합 기술의 연구개발은 일정이 서로 다르다. 경찰 발표에는 기존 시스템의 한국인 맞춤형 자료 학습이 진행 중이라고 나와 있지만, 개선 전후의 탐지 성능을 비교한 수치는 없다. 새 연구 역시 2027년까지 개발하는 사업이므로, 수사기관 공동 활용이 시작되는 시점이나 구체적인 운영 방식은 후속 발표를 확인해야 한다.

‘가짜’ 판별 뒤에 남는 제작·유포 경로

수사에서는 조작 여부뿐 아니라 제작과 유포에 이른 과정을 밝히는 일도 중요하다. 경찰은 주요 생성형 AI 서비스의 프로그램 실행 이력과 명령어 기록을 분석하고, 조작에 사용된 프로그램을 식별하는 기법을 개발해 설명서를 보급하고 있다고 밝혔다. 기술이 바뀌면 분석 방법도 갱신해야 하므로 새 도구에 관한 연구를 이어간다는 방침이다.

불법 조작물의 생성·유포 과정을 분석해 증거를 추출하는 자동화 도구 개발도 추진한다. 이와 관련한 ‘로컬환경 인공지능 모델 대상 포렌식 기술개발’ 사업은 2026년부터 2029년까지 4년간 100억 원 규모로 진행된다. 로컬 환경에서 작동하는 AI 모델을 대상으로 한 포렌식 연구라는 점에서, 온라인 서비스의 기록만으로는 확인하기 어려운 제작 과정을 살피려는 시도로 읽힌다. 다만 구체적인 추적 성과나 현장 적용 범위는 아직 발표되지 않았다.

분석관과 표준 절차가 기술을 뒷받침해야

경찰은 조작물 분석을 맡는 ‘AI 전문분석관’을 전국 시도경찰청에 배치·운영하고, 현장 수사관과 분석관의 전문교육을 확대하겠다고 밝혔다. 탐지·분석 절차를 표준화하고 민·관·학 전문가 그룹을 통해 새 기술 동향과 분석 사례도 공유할 계획이다. 탐지 도구가 결과를 내더라도 수사관이 그 근거를 검토하고 다른 증거와 대조할 수 있어야 한다는 점에서 인력과 절차가 함께 중요하다.

이 계획의 성패는 탐지 결과를 어떻게 수사에 연결하느냐에도 달려 있다. 조작 의심 신호를 찾는 일, 제작에 쓰인 도구와 기록을 분석하는 일, 유포 경로를 확인하는 일은 서로 다른 단계다. 경찰이 자동화 도구와 표준 절차를 동시에 추진하는 이유도 각 단계에서 확인한 내용을 일관되게 다루기 위해서로 볼 수 있다. 실제 사건에서 이 과정이 얼마나 신속하고 정확하게 작동하는지는 향후 운영 결과로 확인해야 한다.

이번 기본계획은 당장 모든 가짜 콘텐츠를 자동으로 판정하겠다는 발표가 아니다. 지금 활용 중인 탐지 시스템을 개선하면서, 여러 종류의 정보를 함께 보는 기술과 제작·유포 경로를 분석하는 도구를 단계적으로 개발하는 계획이다. 앞으로 확인할 것은 실제 수사에서 오류를 얼마나 줄이는지, 분석 결과의 근거를 얼마나 재현할 수 있는지, 여러 수사기관이 같은 기준으로 활용할 수 있는지다.