南昌大学 | 基于多模态融合的高视觉保真对抗性 DeepFake 生成方法(ACM TOMM 2026)

深度伪造技术被滥用于传播虚假信息，这一现状推动研究人员开发出了多种基于深度神经网络的取证检测模型。为能够绕过这类检测防御、更加全面地评估并提升检测器的鲁棒性，生成对抗样本逐渐成为相关领域的关键研究方向。但现有对抗样本生成方法普遍存在局限，通常会以牺牲图像质量为代价来实现躲避检测的效果，进而引入人眼能够明显察觉的伪影问题，反而使得这类样本在人类审查下更容易被识别出伪造痕迹。针对这一突出缺陷，本文提出一种基于多模态融合的动态可控生成对抗网络DCHVF‑GAN，旨在生成同时具备高保真度与高检测欺骗性的对抗性深度伪造样本。

针对传统噪声注入方法容易破坏图像真实感且易被频域分析或空域不一致性检测的问题，DCHVF-GAN引入了受扩散模型启发的预处理机制。该机制在预处理阶段的扩散前向过程中隐式嵌入对抗扰动，消除了显式的噪声叠加，从而在不引入可检测异常的情况下更有效地欺骗取证检测器。此外，该框架通过快速傅里叶变换提取频域线索，并将频域特征与空间域特征进行多模态融合后输入生成器。生成器网络集成了多头注意力模块以更好地聚焦真实特征图中的判别性特征，同时通过精心设计的动态多模态五元损失函数指导整个对抗训练过程。这不仅增强了生成对抗样本的结构一致性和感知质量，还确保了其针对各类黑盒取证模型的攻击有效性。

在多个大规模基准数据集上的广泛实验表明，DCHVF-GAN在维持高视觉保真的同时，能够有效地欺骗现有的黑盒取证检测器。相较于现有先进方法，该模型在Celeb-DF、FaceForensics++和DeeperForensics数据集上的平均检测错误率超过95%。同时，在感知图像块相似度、样式损失以及自然图像质量评价器等多个核心感知质量评估指标上均取得了最优表现，确保生成的对抗样本与真实图像在视觉上极难区分。

论文信息

相关论文已被ACM TOMM 2026录用，作者为南昌大学丁峰教授、贺希楠、匡仁盛、肖梦瑶教授、朱小刚教授，哈尔滨工业大学朱国普教授，纽约州立大学奥尔巴尼分校Pradeep K. Atrey教授。

Feng Ding, Xinan He, Rensheng Kuang, Mengyao Xiao, Xiaogang Zhu, Guopu Zhu, and Pradeep K. Atrey. DCHVF-GAN: Synthesizing Adversarial DeepFakes with High Visual Fidelity by Multimodality Fusion. J. ACM TOMM 2026. Accepted.

供稿：肖梦瑶

义务编辑与校对：薛禹良博士