0x00 论文来源

CommanderSong: A Systematic Approach for Practical Adversarial Voice Recognition

作者：Xuejing Yuan等。

0x01 研究动机

• 语音识别系统变得更加智能，并且攻击时的环境非常复杂，还能有效的实施攻击吗？
• 是否能够生成难以甚至不可能被普通用户注意到的对抗性样本(其中包含目标命令)，从而以一种“隐藏”的方式对ASR系统进行控制？
• 是否有可能以自动的方式影响大量的受害者，而不是仅仅依靠攻击者播放对抗性音频来影响附近的受害者？

0x02 挑战

• 尽量减少对歌曲的干扰，使原始歌曲和生成的敌对样本之间的失真尽可能不被注意到。
• 物理世界中攻击有效，即在噪声下仍然能攻击成功。

0x03 解决思路

• pdf-id 序列匹配和梯度下降算法 来对声学模型的输出产生最小的修正。
• 引入通用噪声模型，来模拟真实物理世界中的噪声。

0x04 具体

Kaldi平台

• 工作原理
  1. 从原始音频中提取MFCC或PLP等声学特征。
  2. 然后根据声学模型训练好的概率密度函数(p.d.f.)，将这些特征作为DNN的输入，计算后验概率矩阵。

梯度下降算法

输入：

• x(t)——原始歌曲音频
• y(t)——想要的命令（单纯的声音音频）

训练：

将这两个输入分别放入到语音识别模型中去跑。

训练输出：

• 原始歌曲音频

  这里我们假设特征提取过程中提取了n个帧，现有k个pdf-id，

  那个我们得到的DNN输出的矩阵A中的某个元素Ai,j,表示第i个帧是第j个pdf-id 的概率。

  令

  

  则mi表示第i个帧概率最大的pdf-id,

  

  m就是原始歌曲音频代表的pdf-id序列。为了方便起见，用g(.)代表给定原始音频输入，给出其对应的最有可能的pdf-id序列的函数，那么上述就可以表示为，

  

• 目标命令音频

  相应的，目标命令最有可能的pdf-id序列也可以由如下表示

  

优化：

我们要做的工作就是通过对原始歌曲音频添加一定的扰动，使其模型的训练输出m和目标命令的训练输出b之间的距离最小化。

那么问题来了，我们用什么来衡量m和b之间的距离呢？

本文中，作者用L1距离来进行衡量。

目标函数：

约束条件：

接下来，我们就用梯度下降算法循环得减少目标函数的值，直到趋向于一个稳定的状态，这样得到的x'(t),就可以被解码为想要的命令。

改进：

减少了b中的重复帧，不过没看懂

WAA攻击

该部分就是在上述的情况下添加了一个噪声模型，

这里用随机噪声进行模型物理世界中的噪声，生成方式如下：

其中，rand()函数会返回一个WAV格式的文件，可以直接作为原始音频的输入。

那么目标函数也就表示如下：

接下来，用上面的梯度下降算法处理就行。