영국 유니버시티 칼리지 런던(UCL) 루이스 그리핀 교수팀은 8월3일 과학저널 ‘플로스 원’(PLOS ONE)에 기재한 논문에서 영어와 중국어 딥페이크(deepfake) 알고리즘으로 만든 음성을 들려주고 진짜와 가짜를 찾아내는 실험에서 참가자들이 딥페이크 음성의 27%를 구분해내지 못했다고 밝혔다.
딥페이크는 실제 사람 목소리나 외모와 비슷하게 음성·이미지 등을 합성 조작해 만드는 기술이다. 실제 인물의 동영상이나 오디오 같은 데이터세트의 패턴과 특성을 학습해 원본 음성이나 이미지를 재현할 수 있게 알고리즘을 훈련하는 기계학습(ML)의 일종인 생성형 인공지능(AI) 범주에 속한다.
연구팀은 “연구 결과는 사람들이 딥페이크 음성을 제대로 구분해내지 못한다는 것을 확인시켜주는 것으로, 딥페이크 음성·이미지의 위협에 대응하기 위한 대응 전략의 필요성을 보여준다”고 말했다.
초기의 딥페이크 음성 알고리즘은 원본 오디오 생성을 위해 수천 개의 음성 샘플이 필요했다. 그러나 최근에는 AI가 급속히 발전하면서 사전학습 알고리즘이 단 3초 분량 음성 클립만으로도 사람 음성을 재현할 수 있다.
실험에서 연구팀은 영어와 중국어 데이터세트로 훈련된 텍스트 음성 변환(TTS) 알고리즘을 사용해 영어와 중국어로 된 딥페이크 음성 샘플 50개씩을 만들고 이를 529명에게 들려주면서 가짜와 진짜 음성을 구분하도록 했다. 그 결과 영어와 중국어 상관없이 실험 참가자들의 73%만 딥페이크 음성을 구분해 냈다.
연구팀은 “딥페이크 음성 구분이 어렵다는 것은 딥페이크가 악용될 가능성이 크다는 것을 의미한다”며 “이런 위협에 대한 방어 대책이 필요하다”고 지적했다. AI 오디오 기술이 언어에 제한이 있거나 질병으로 목소리를 잃은 사람 등에게 도움을 줄 수도 있지만, 반대로 범죄자나 권력기관 등에 악용될 소지도 커진다.
실제, 2019년 영국의 한 에너지 회사에서는 한 직원이 AI 기술로 제작된 상사의 딥페이크 음성 메시지를 받고 헝가리 회사에 20만 유로(약 2억5000만 원)를 송금하는 사건이 발생하기도 했다. 반면, 영화 ‘탑건 매버릭’에서는 인후암 수술을 한 배우 발 킬머가 딥페이크의 도움을 받아 자신의 목소리로 음성 연기를 하기도 했다.
논문 제1 저자인 킴벌리 마이 연구원은 “실험에 사용된 샘플이 비교적 오래된 알고리즘으로 만들어진 점을 고려하면, 사람들이 현재와 미래의 정교한 기술로 만든 딥페이크 음성을 얼마나 감지해낼 수 있을지 의문”이라고 말했다.