Deep Visual-Semantic Hashing for Cross-Modal Retrieval（DVSH）论文阅读笔记。
KDD 2016
本文提出了一个深度图像语义哈希（DVSH）模型，用来为图像和句子生成哈希码。模型将对图像操作的CNN、对句子操作的RNN和一个结构化的最大间隔目标函数结合起来，同时有效地实现了多模态特征抽取和跨模态哈希表示。
模型
- \(N\) 个样本 \(\{\mathbf{o}_i = (\mathbf{x}_i, \mathbf{y}_i)\}_{i=1}^N\)
- \(\mathbf{x}_i \in \mathbb{R}^{D_x}\) 表示图像模态数据的 \(D_x\) 维特征
- \(\mathbf{y}_i = \langle\mathbf{y}_{i1}, \mathbf{y}_{i2},\cdots, \mathbf{y}_{iT}\rangle \in \mathbb{R}^{D_y \times T}\) 表示第 \(i\) 个句子的词序列，其中 \(\mathbf{y}_{it} \in \mathbb{R}^{D_y}\) 是序列 \(i\) 中时刻 \(t\) 的词的one-hot向量，词典大小 \(D_y\)
- 相似标签 \(s_{ij} = 1\) 表示 \(\mathbf{o}_i\) 和 \(\mathbf{o}_j\) 相似，\(s_{ij} = -1\) 表示不相似，相似矩阵 \(\mathcal{S} = \{s_{ij}\}\) 一般从数据的语义标签或者点击查询的反馈中获得
本文提出的方法是学习融合函数，\(f(\mathbf{x},\mathbf{y}): (\mathbb{R}^{D_x}, \mathbb{R}^{D_y\times T}) \mapsto \{-1, 1\}^K\)，将图像和文本数据映射成 \(K\) 维的Hamming距离空间 \(\mathcal{H}\) 中，并且保留他们之间的相关关系；模型同时还学习两个具体模态的哈希函数 \(f_x(\mathbf{x}):\mathbb{R}^{D_x} \mapsto \{-1, 1\}^K\) 和 \(f_y(\mathbf{y}):\mathbb{R}^{D_y \times T} \mapsto \{-1,1\}^K\) ，将数据库中的每一个图像和句子数据都编码成二进制码 \(\mathbf{u} \in \{-1,1\}^K\) 和 \(\mathbf{v} \in \{-1,1\}^K\) 。
本文的模型中，CNN使用的是AlexNet，RNN使用的是LSTM，模型的输入 \((\mathbf{o}_i,\mathbf{o}_j,s_{ij})\) ，然后将其传入特征学习和哈希码生成的流水线中。
图像语义融合网络
如上图左边部分所示，网络将图片和文本的特征表示映射到一个共同的语义表达空间中，使得图像-文本对包含的语义关联度最大，即保留相似标签表示的数据的相似度。
将一张图片 \(\mathbf{x}_i\) 作为输入传入 CNN 网络中，生成一个固定长度的表示向量 \(\mathbf{h}_i^x\) 。将AlexNet的 fc8 的分类层替换成一个特征映射层，将 fc7 特征映射成一个新的 \(K\) 维特征。
LSTM 将在时间 \(t\) 的输入 \(\mathbf{y}_{it}\) 和前一个时间 \(t\) 的隐含状态 \(\mathbf{h}_{i(t-1)}^y\) 映射成一个输出 \(\mathbf{z}_{it}^y\) 和新的隐含状态 \(\mathbf{h}_{it}^y\)。
为了将CNN和LSTM整合到起来，这里引入了第二层LSTM，即将 \(\mathbf{x}_i\) 的表示 \(\mathbf{h}_i^x\) 融合到LSTM每个状态的第二层，融合层（绿色的LSTM）在状态 \(t\) 的激活函数为：
\[\mathbf{h}_{it} = f(\mathbf{h}_i^x + \mathbf{h}_{it}^y)\]为了使得 \(\mathbf{h}_{it}\) 与最终的哈希码 \(\mathbf{u}_i, \mathbf{v}_i\) 的差别更小，通过 tanh 函数将 \(\mathbf{h}_{it}\) 变换到 \([-1,1]\) 之间。
上述过程中每个时间步 \(t\) 都生成了一个联合特征 \(\mathbf{h}_{it}\)，但是对于一个图像-文本对，只需要一个联合特征，本文通过 mean embeddings of distributions 来生成每一对的融合特征：
\[\mathbf{h}_i = \frac{\sum_{t=1}^T \pi_{it}\mathbf{h}_{it}}{\sum_{t=1}^T \pi_{it}} = \frac{\sum_{t=1}^T \pi_{it}f(\mathbf{h}_i^x+\mathbf{h}_{it}^y)}{\sum_{t=1}^T\pi_{it}}\]其中 \(\pi_{it}\in\{1,0\}\) 是指示变量，当词 \(t\) 在时间步 t 出现时，\(\pi_{it} = 1\) ，否则 \(\pi_{it} = 0\) 。这样处理的原因是每个句子的长度不一样。
值得注意的是，生成的联合语义特征 \(\mathbf{h}_i\) 不仅需要“捕获”图像数据的空间依赖和文本数据的时序特征，还应该获取数据在Hamming空间的关系，保留数据对之间的相似信息。
余弦最大间距损失（Cosine Max-Margin Loss）
当 \(s_{ij} = 1\) 时，表示数据 \(\mathbf{o}_i\) 和 \(\mathbf{o}_j\) 相似，则他们的哈希码 \(\mathbf{u}_i\) 和 \(\mathbf{v}_j\) 也必须相似。这意味着他们联合语义表示 \(\mathbf{h}_i\) 和 \(\mathbf{h}_j\) 应该相似，反之，他们的联合语义表示应该不相似。
使用余弦相似度 \(\cos(\mathbf{h}_i,\mathbf{h}_j) = \frac{\mathbf{h}_i \cdot \mathbf{h}_j}{\|\mathbf{h}_i\|\|\mathbf{h}_j\|}\) 来度量两者的关联性。对于相似度保留学习，提出了下面的余弦最大间距损失：
\[L = \sum_{s_{ij}\in\mathcal{S}}\max\Big(0, \mu_c - s_{ij}\cos(\mathbf{h}_i, \mathbf{h}_j) \Big)\]其中，\(\mu_c > 0\) 是间距参数，固定为 \(\mu_c = 0.5\)。
基于位的最大间距损失（Bitwise Max-Margin Loss）
对于每一个图像-文本对 \(\mathbf{o}_i = (\mathbf{x}_i, \mathbf{y}_i)\) ，为了减小联合语义特征 \(\mathbf{h}_i\) 和他们的模态相关的哈希码 \(\mathbf{u}_i, \mathbf{v}_i\) 的差距，要求 \(\mathbf{h}_i\) 与 \({\rm sgn}(\mathbf{h})\in \{-1,1\}^K\) 尽可能接近，即使得 \(\parallel \mid\mathbf{h}_i\mid - \mathbf{1}\parallel^2\) 最小化。
由于平方损失容易受离群点影响，因此提出了基于位的最大间距损失：
\[Q = \sum_{i=1}^N \sum_{k=1}^K \max(0, \mu_b - |h_{ik}|)\]其中 \(\mu_b > 0\) 是间距参数，固定为 \(\mu_b = 0.5\)。该目标函数鼓励 \(\mathbf{h}_i\) 的第 \(k\) 位分散在 \(h_{ik} = 0\) 两边。
特定模态的Hash网络
图像语义融合网络学习的特征是连接两个不同模态的桥梁，其存在两个问题：
- 不能扩展到样本外的数据
- 需要两个模态的数据作为输入，不能直接用于跨模态检索
因此还需要两个Hash网络，来直接学习每个模态的Hash函数。
图像哈希网络
直接使用AlexNet的 conv1-fc7 层，然后将 fc8 层的softmax替换成一个Hash函数，将 \(\mathbf{x}_i\) 的特征表示转换成哈希码 \(\mathbf{u}_i\) 。为了保证生成的哈希码在联合语义空间中，要求 \(\mathbf{x}_i\) 的哈希码 \(\mathbf{u}_i\) 和联合特征 \(\mathbf{h}_i\) 尽可能的接近：
\[L^x = \frac 1{2N}\sum_{i=1}^N \Big(\mathbf{u}_i - \frac{\sum_{t=1}^T \pi_{it}\mathbf{h}_{it}}{\sum_{t=1}^T\pi_{it}} \Big)^2\]文本哈希网络
将 LSTM 中的softmax层替换为Hash函数，将特征表示转换成哈希码，同样的，要求句子 \(\mathbf{y}_i\) 的联合特征表示 \(\mathbf{h}_i\) 和哈希码 \(\mathbf{v}_i\) 的平方误差尽可能小：
\[L^y = \frac1{2N}\sum_{i=1}^N \frac{\sum_{t=1}^T (\mathbf{v}_{it} - \mathbf{h}_{it})^2}{\sum_{t=1}^T\pi_{it}}\]DVSH
整合上述的损失函数，有：
\[\min_\Theta O = L + \lambda Q + \beta(L^x+ L^y)\]其中
- \(\Theta \triangleq \{\mathbf{W}_*^l, \mathbf{b}_*^l\}_{*\in\{x,y,u,v\}}\) 表示网络参数
- \(\lambda, \beta\) 为惩罚因子
训练完成后，使用 \({\rm sgn}(\mathbf{u})\) 和 \({\rm sgn}(\mathbf{v})\) 获得每个模态的哈希码。
学习算法
使用BP算法，通过SGD来学习网络的参数。
实验
详见论文。
