基于深度学习与多模态融合的虚假短视频综合检测系统

项目简介

本项目实现了一个基于深度学习和多模态融合的短视频平台上生成视频和虚假内容检测系统。系统由两部分组成：生成视频检测模块和虚假视频内容检测模块。生成视频检测模块使用预训练的 CLIP:ViT-L/14 提取视频帧特征，并通过Transformer 学习帧间的时序关系，实现对生成视频的检测。虚假视频内容检测模块采用多模态融合技术，结合文本、音频、关键帧和视频片段，并通过协同注意力机制增强不同模态间的信息交互，使用 Transformer 编码层和全连接层进行分类预测。

环境依赖

本项目基于 python 3.10 和 pytorch 2.1.0 环境。

conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 cpuonly -c pytorch

安装所需的库：

pip install -r requirements.txt

运行系统

使用以下命令运行系统：

python app.py

系统展示

系统展示如下：