基于卷积LSTM的视频中Deepfake检测方法
信息技术与网络安全
李永强，白 天
(中国科学技术大学 软件学院，安徽 合肥230026)
摘要： 以Deepfake为代表的伪造人脸技术，使用少量的人脸数据就能将视频中的人脸替换成为目标人脸，从而达到伪造视频的目的。此类技术的滥用将带来恶劣的社会影响，需要使用检测技术加以制裁。针对这一问题，已有若干检测算法被提出。现有方法具有一定局限性，单帧检测算法忽略了Deepfake动态缺陷；当数据存在缺陷时，模型可能会陷入“学会特定脸”的陷阱中。提出了一种对视频数据中的Deepfake检测方法，使用结合CNN和LSTM的卷积LSTM，判断视频真伪。提出了一种基于人脸特征点的cutout方法，能抑制网络学会特定脸。实验表明，在不同场景下，准确度对比基准算法均有提升。
中圖分類號： TP18
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.04.005
引用格式： 李永強，白天. 基于卷積LSTM的視頻中Deepfake檢測方法[J].信息技術與網絡安全，2021，40(4)：28-32.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2021.04.005
引用格式： 李永強，白天. 基于卷積LSTM的視頻中Deepfake檢測方法[J].信息技術與網絡安全，2021，40(4)：28-32.
Deepfake detection method in videos based on convolutional LSTM
Li Yongqiang，Bai Tian
(School of Software Engineering，University of Science and Technology of China，Hefei 230026，China)
Abstract： The face forgery technology represented by deepfake can replace the face in video with the target face by using a small amount of face data, so as to achieve the purpose of forgery video. The abuse of this kind of technology will bring adverse social effects, which need to be punished by using detection technology. The existing methods have some limitations, single frame detection algorithm ignores the dynamic defect of deepfake; when the data has defects, the model may fall into the trap of "learning specific face". In this paper, we propose a forgery face detection method in video, which uses the convolutional LSTM combined with CNN and LSTM to judge if a video is original or manipulated by deepfake. In addition, we propose a cutout method based on landmarks, which can inhibit the network from learning specific face. Experiments show that the accuracy of the baseline algorithm is improved in different scenes.
Key words : Deepfake detection；computer vision；deep learning
0 引言
近年來，基于深度學習技術的圖像生成技術迅速發展，視頻人臉偽造技術也隨之日趨成熟。利用此類技術的人臉偽造技術已經可以欺騙普通人類[1]。但這些技術的濫用也引發了一些社會問題，因為這些技術可以利用公眾人物公開的視頻、圖像素材，偽造公眾人物出場的虛假視頻，發布虛假的言論，或偽造色情影片，破壞名譽。由于Deepfakes項目[2]的廣泛流傳，這一類技術常被通稱為Deepfake。為了避免Deepfake技術的濫用，許多研究團體做出了卓越的貢獻。ROSSLER A等人發布了包含大量Deepfake數據的公開數據集FaceForensics++[1]，以幫助研究人員研究檢測算法。Facebook開展了DFDC(Deepfake Detection Challenge)比賽并公布了訓練數據集[3]。
本文詳細內容請下載：http://m.tom3567.com/resource/share/2000003474
作者信息：
李永強，白 天
(中國科學技術大學 軟件學院，安徽 合肥230026)
此內容為AET網站原創，未經授權禁止轉載。