경찰, AI 악용 범죄 대응 위한 종합대책 시행

경찰이 인공지능을 이용한 불법 조작물의 탐지와 분석 역량을 높이기 위한 종합적인 수사체계 구축에 나선다.

경찰청 국가수사본부는 10월 16일 'AI 불법 조작물 탐지·분석체계 고도화 기본계획'을 수립하고 본격 시행한다고 밝혔다.

이번 계획은 생성형 AI 기술이 발전하면서 딥페이크 성범죄뿐 아니라 명예훼손, 투자사기, 보이스피싱 등 다양한 범죄에 AI 조작물이 활용되는 상황에 대응하기 위해 마련됐다.

특히 AI로 제작된 영상이나 음성의 진위를 판별하는 데 그치지 않고 조작물이 어떤 방식으로 만들어졌으며 어디로 유포됐는지까지 분석하는 수사 역량을 강화하는 것이 핵심이다.

경찰은 기술과 시스템, 전문인력, 조직 운영 등 여러 분야에서 8대 세부 과제를 추진할 계획이다.

주요 과제에는 AI 조작물 정밀 탐지 시스템 구축, 자동화 분석 도구 개발, 전문분석관 운영, 표준 절차 정립, 전문가 그룹 운영 등이 포함됐다.

영상·이미지 넘어 음성·문자까지…차세대 탐지 시스템 구축

경찰은 AI 조작물을 보다 신속하고 정확하게 판별하기 위해 차세대 정밀 탐지 시스템을 구축한다.

현재 경찰은 2024년부터 도입한 딥페이크 탐지 시스템을 활용하고 있다.

기존 시스템에는 한국인 맞춤형 자료를 학습시켜 국내 환경에 적합하도록 탐지 성능을 개선하고 있다.

이와 함께 영상과 이미지뿐 아니라 음성과 문자까지 함께 분석하는 멀티모달 딥페이크 탐지 기술도 개발하고 있다.

멀티모달은 서로 다른 형태의 정보를 결합해 분석하는 기술을 의미한다.

예를 들어 영상 속 인물의 입 모양과 실제 음성이 일치하는지, 음성으로 전달되는 내용과 자막이 서로 맞는지 등을 종합적으로 확인하는 방식이다.

영상만 분석할 때는 확인하기 어려운 조작 흔적을 여러 정보 사이의 불일치를 통해 찾아내는 것이 목표다.

경찰은 이러한 기술을 활용해 AI 조작 여부를 더욱 정밀하게 판별할 수 있는 분석체계를 마련할 계획이다.

91억 원 투입…2027년까지 허위조작 콘텐츠 판별 기술 개발

경찰은 차세대 탐지 기술 확보를 위해 '허위조작 콘텐츠 진위여부 판별 시스템 개발' 사업을 추진하고 있다.

해당 사업은 2025년부터 2027년까지 3년간 진행되며, 총사업 예산 규모는 91억 원이다.

사업에서는 AI로 생성하거나 변형한 콘텐츠의 특징을 분석하고 영상·음성·문자 등 다양한 정보를 결합해 진위를 판별하는 기술을 개발한다.

경찰은 연구개발이 완료되면 경찰뿐 아니라 다른 수사기관에서도 공동으로 활용할 수 있는 시스템 구축을 추진할 예정이다.

이를 통해 수사기관별 분석 역량의 차이를 줄이고 AI 조작물에 대한 대응 능력을 높인다는 방침이다.

다만 해당 기술은 현재 연구개발이 진행 중인 단계로, 모든 수사기관이 이미 공동으로 사용하고 있는 것은 아니다.

딥페이크 성범죄 넘어 투자사기·보이스피싱까지 대응

AI 조작물은 다양한 범죄에 악용될 수 있다.

대표적인 사례는 실제 인물의 얼굴이나 신체를 합성해 허위 영상을 제작하는 딥페이크 성범죄다.

또한 특정 인물의 모습이나 목소리를 조작한 콘텐츠는 명예훼손이나 사기 범죄에도 활용될 수 있다.

투자사기에서는 실제 인물이 하지 않은 발언을 한 것처럼 꾸민 영상이나 음성이 피해자를 속이는 수단으로 이용될 수 있다.

보이스피싱 역시 AI를 이용한 음성 조작 등으로 범죄 수법이 복잡해질 가능성이 있다.

경찰은 이처럼 AI 기술을 악용하는 범죄가 여러 유형으로 확산하는 상황에 맞춰 탐지 범위와 분석 방법을 확대할 계획이다.

특히 단순히 콘텐츠가 가짜인지 판별하는 수준을 넘어 범행에 사용된 기술과 생성 과정까지 분석하는 방향으로 수사 역량을 강화한다.

AI 조작물 어떻게 만들었나…프로그램 실행기록·명령어 분석

경찰은 생성형 AI를 이용해 불법 조작물이 만들어지는 과정도 분석할 계획이다.

이를 위해 사용 빈도가 높은 주요 생성형 AI 서비스를 대상으로 프로그램 실행이력과 명령어 기록 등을 분석하는 기법을 개발하고 있다.

조작에 사용된 특정 프로그램을 식별하고 변형된 자료를 분석하는 기술도 고도화한다.

생성형 AI를 이용한 범죄에서는 결과물만으로 제작 과정을 확인하기 어려운 경우가 있을 수 있다.

따라서 경찰은 관련 기기나 프로그램에 남아 있는 기록 등을 분석해 범행 과정을 확인하는 기술을 확보한다는 방침이다.

이와 함께 수사관들이 현장에서 활용할 수 있도록 분석기법에 관한 설명서도 보급하고 있다.

새롭게 등장하는 생성형 AI 기술에 대한 연구도 지속할 예정이다.

100억 원 규모 AI 포렌식 기술 개발…2029년까지 추진

AI 조작물의 생성과 유포 과정을 분석하는 자동화 도구 개발도 추진된다.

경찰은 '로컬환경 인공지능 모델 대상 포렌식 기술개발' 사업을 통해 AI 관련 디지털 증거를 분석하는 기술을 확보할 계획이다.

해당 사업은 2026년부터 2029년까지 4년간 진행되며, 예산 규모는 100억 원이다.

로컬환경 AI 모델은 외부 온라인 서비스에만 의존하지 않고 개별 컴퓨터 등에서 실행할 수 있는 AI 모델을 의미한다.

경찰은 이러한 환경에서 AI 조작물이 생성되거나 변형되는 과정을 분석할 수 있는 포렌식 기술을 개발한다.

디지털 포렌식은 컴퓨터와 저장장치 등에 남아 있는 전자정보를 수집·분석해 사건과 관련된 증거를 확인하는 기술이다.

이번 사업에서는 AI 조작물의 생성·유포 전 과정을 분석하고 관련 증거를 추출할 수 있는 자동화 도구 개발을 추진한다.

다만 자동화 분석 도구가 실제 수사에 적용되는 범위와 시점은 연구개발 진행 상황에 따라 달라질 수 있다.

전국 시도경찰청에 'AI 전문분석관' 배치

기술 개발과 함께 전문인력 확보도 추진된다.

경찰은 AI 조작물 분석에 특화된 전문분석관을 전국 시도경찰청에 배치·운영할 계획이다.

AI 전문분석관은 불법 조작물의 특성과 분석기법 등을 전문적으로 다루는 인력으로 운영될 예정이다.

경찰은 현장 수사관과 분석관을 대상으로 전문교육도 대폭 확대한다.

AI 기술은 새로운 모델과 프로그램이 지속적으로 등장하는 분야인 만큼 분석 담당자의 기술 이해와 대응 역량을 높이는 것이 중요하다는 판단이다.

이를 통해 일선 수사현장에서도 AI 조작물과 관련된 증거를 보다 체계적으로 분석할 수 있도록 지원한다는 방침이다.

다만 이번 발표에서는 전문분석관의 구체적인 배치 인원과 시도경찰청별 운영 규모가 공개되지 않았다.

수사 표준 절차 정립…민·관·학 전문가 협력 강화

경찰은 AI 조작물 분석의 일관성과 전문성을 높이기 위해 표준 절차도 정립한다.

AI 조작물의 종류와 제작 방식이 다양해지는 상황에서 분석 방법과 증거 확인 절차를 체계화하려는 것이다.

또한 민간기업과 정부기관, 학계 전문가가 참여하는 협력체계를 강화한다.

민·관·학 전문가 그룹을 운영해 최신 AI 기술 동향과 주요 탐지 사례, 새로운 프로그램에 대한 분석 성과 등을 공유할 계획이다.

경찰은 이를 통해 새로운 AI 범죄 수법에 대한 대응 역량을 높이고 분석기술을 지속적으로 발전시킨다는 방침이다.

AI 조작물 탐지 결과, 수사에서 어떤 의미가 있을까

AI 조작물 탐지 기술이 고도화되면 수사기관은 의심스러운 영상이나 음성에 대해 보다 다양한 분석을 진행할 수 있게 된다.

특히 영상과 음성, 문자 사이의 불일치를 확인하거나 관련 프로그램 기록을 분석하는 방식은 조작 여부를 검토하는 데 도움이 될 수 있다.

다만 탐지 시스템이 특정 콘텐츠를 AI 조작물로 판단했다고 해서 그 결과만으로 범죄가 확정되는 것은 아니다.

실제 형사사건에서는 자료의 수집 경위와 분석 결과, 관련 증거 등을 종합적으로 검토해야 한다.

AI 조작물로 의심되는 콘텐츠가 발견됐더라도 어떤 범죄에 해당하는지는 제작·유포 경위와 피해 내용, 관련 법률 등에 따라 판단된다.

따라서 이번 계획은 AI 탐지 결과를 곧바로 유죄 판단으로 연결하는 제도가 아니라 수사기관의 분석 역량과 증거 확보 능력을 강화하기 위한 조치로 이해할 수 있다.

경찰 “가짜 판별 넘어 생성·유포 과정까지 추적”

김종철 경찰청장 직무대행은 AI를 이용한 범죄 수법이 빠르게 변화하는 만큼 경찰의 대응 방식도 달라져야 한다고 강조했다.

경찰은 AI로 만들어진 허위 콘텐츠를 신속하게 찾아내는 동시에 어떤 방식으로 제작되고 유포됐는지까지 추적할 수 있는 수사 역량을 확보하겠다는 방침이다.

이번 계획은 AI 조작물의 진위를 판별하는 기술과 범행 과정을 추적하는 포렌식 기술, 이를 활용할 전문인력을 함께 강화한다는 점에서 주목된다.

경찰은 2027년까지 진행되는 허위조작 콘텐츠 판별 시스템 개발과 2029년까지 추진되는 AI 포렌식 기술개발 사업을 통해 관련 수사기술을 단계적으로 고도화할 예정이다.

앞으로는 연구개발 성과가 실제 수사현장에 얼마나 효과적으로 적용되는지와 전국 시도경찰청의 전문분석체계가 어떻게 운영되는지가 주요 과제가 될 것으로 보인다.