(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210319972.1 (22)申请日 2022.03.29 (71)申请人 山东彦云信息科技有限公司 地址 250307 山东省济南市长清区崮云湖 街道办事处大学路1号山东师范大学 长清湖校区创业孵化基地G2-4 4 (72)发明人 吴尚锡　宋思清　尹雨阳　陈观昊　 桑基韬　 (74)专利代理 机构 北京市商 泰律师事务所 11255 专利代理师 黄晓军 (51)Int.Cl. G06V 40/16(2022.01) G06V 20/40(2022.01) G06F 21/62(2013.01)G06T 3/00(2006.01) G06T 7/62(2017.01) (54)发明名称 一种基于对抗进攻的视频流人脸隐私保护 方法 (57)摘要 本发明提供了一种基于对抗进攻的视频流 人脸隐私保护方法。 该方法包括： 输入原始视频， 分别提取所述原始视频中的各个视频帧； 分别获 取各个视频帧中的人脸区域图像； 将各个视频帧 中的人脸区域图像输入到神经网络， 神经网络输 出各个视频帧中的人脸区域图像的对抗扰动， 将 当前帧之前的所有视频帧中的人脸区域图像的 对抗扰动求和之后叠加在了当前帧中的人脸区 域图像上， 得到进行了人脸隐私保护的当前帧中 的人脸区域图像。 本发明基于视频流对人脸识别 进行信息保护， 可 以抵抗恶意的视频进攻， 达到 视频流中的人脸区域无法被识别的目的， 可以对 抗对视频中的人脸领域的恶意进攻。 权利要求书2页 说明书7页 附图2页 CN 114842526 A 2022.08.02 CN 114842526 A 1.一种基于对抗进攻的视频流人脸隐私保护方法， 其特 征在于， 包括： 输入原始视频， 分别提取 所述原始视频中的各个视频帧； 分别获取 各个视频帧中的人脸区域图像； 将各个视频帧中的人脸 区域图像输入到神经网络， 神经网络输出各个视频帧中的人脸 区域图像的对抗扰动， 将当前帧之前的所有视频帧中的人脸区域图像的对抗扰动求和之后 叠加在了当前帧中的人脸区域图像上， 得到进行了人脸隐私保护的当前帧中的人脸区域图 像。 2.根据权利要求1所述的系统， 其特征在于， 所述的分别获取各个视频帧中的人脸区域 图像， 包括； 对于给定的视频帧图像x∈Rw×h×c， 定义全黑处理算子B， 全黑处理区域l， 人脸区域的区 域面积计算算子S， 将所述视频帧图像x输入到下述的公式1和公式2中， 通过求解下述的公 式1和公式2计算出视频帧图像x中的人脸区域图像l的面积S(l)； 其中， X是视 频帧的图像训练集， L是视频帧的 图像位置分布集， 指输入的视 频帧图像x 的区域信息， 指对于分别服从图像训练集及视频帧的图像位置分布集分布的期望 值， B(x， l)指全黑处理操作中对任一图像的某一区域进行全黑处理， 得到全黑处理区域面 积， 指模型的输出值， 即处 理后视频帧图像x中的人脸区域图像无法被识别的概 率。 3.根据权利要求1所述的系统， 其特征在于， 所述的将各个视频帧中的人脸区域图像输 入到神经网络， 神经网络输出各个视频帧中的人脸区域图像的对抗扰动， 将当前帧之前 的 所有视频帧中的人脸区域图像的对抗扰动求和之后叠加在了当前帧中的人脸区域图像上， 得到进行了人脸隐私保护的当前帧中的人脸区域图像， 包括； 将Lf( θ， x， y)定义为神经网络模型的损失函数， 当前帧图像x∈RT×W×H×C,T是当前帧数， W 是图像的宽度， H是图像的高度， C是图像的通道数， 下面将xt表示为第t帧图像， ht表示对第t 帧施加的扰动， y为第t帧对应的标签， 表示对xt的梯度下降值， α 定义为下降 的速率， 将xt输入到神经网络中， 神经网络 输出对第t帧施加的扰动ht 将第t帧图像之前的前t ‑1帧图像的扰动求和之后叠加到第t帧图像上， 得到更新后的ht 的计算公式： 其中ht代表对第t帧施加的扰动， hi是第对i帧施加的扰动。 将α 定义为可调整的系数， 得到最终的ht的计算公式为： 将所述最终的ht施加到第t帧图像xt中的人脸区域图像上之后， 得到经过对抗进攻防御 保护后的第t帧图像为：权　利　要　求　书 1/2 页 2 CN 114842526 A 2xt＝xt+ht 4.根据权利要求1或者2或者3所述的系统， 其特 征在于， 所述的方法还 包括； 当对图像添加补丁时， 对于给定的视频帧图像x∈Rw×h×c、 补丁p、 补丁位置lp、 和补丁变 换t， 定义补丁运算符A(x， p， lp， t)， 它首先变换t应用于补丁p， 然后将变换的补丁p应用于 图像x的位置l处； 在对补丁图像的训练优化过程中， 将补丁、 图像、 位置和变换作为输入， 对补丁进行训 练： 上述公式中X是图像的训练集， T是补丁变换的分布， L是图像位置的分布， 是应用于 变换的补 丁， 使得右式中的期望达到最大值， A(p， x， lp， t)是基于补 丁位置、 补丁变换方式、 输入图像的运 算符。权　利　要　求　书 2/2 页 3 CN 114842526 A 3