Continuous Manifold Based Adaptation for Evolving Visual Domains

论文简述

本文考虑了一种域连续变化的复杂场景，例如：对视频流中物体、场景分类，同一类别物体将持续收到环境中光照、气候、传感器的变化等因素影响。在随时间演变的环境下，对物体、场景分类时，不同类别物体的视觉概念逐渐演变。
Vision-Concepts-Evolves
本文提出了一种UDA方法，能够一种持续变化的目标数据分布（a continuously evolving target distribution)，问题设定具体包含一下三个特点：

  1. 源域标记数据丰富
  2. 目标域的数据无标记且持续到达
  3. 目标域数据分布持续演变

本文提出的问题设定与 （1）传统在线学习（Online Learning）比较，不要求连续达到的数据标记是可获取的；（2）在线分布学习（Online Distribution Learning），ODL仅演化数据分布，不提供适应分类器的技术。（3）在线自适应（Online Adaptation），此类方法假设目标数据分布使单一且固定的。

以往UDA方法的劣势在于：（1）应用到流数据中，需要将一段时间内的数据分布视为固定的数据分布，可能会造成一定的问题。（2）期望数据以 Batch 的形式到达。
对应的，本文所提方法能够为每个样本学习一个低维子空间而非为连续一段数据学习一个相同的子空间，优势在于：（1）无需将连续的数据分布分成离散片段或窗口（2）能够在线地更新到每个样本上。

所提方法

CMA算法对于源域数据计算原始特征变换（高维->低维）\(\mathbf{U}\in \mathbb{R}^{D\times d}\)，并在数据流的每个时刻\(t\)持续演化特征变换方式\(\mathbf{P}_t\)，并希望对样本特征变化的方式可以满足如下形式化：
\[
\min _{\boldsymbol{P}_{t}^{T} \boldsymbol{P}_{t}=I, \tilde{A}_{t}, \tilde{B}_{t}} r\left(\boldsymbol{P}_{t-1}, \boldsymbol{P}_{t}\right)+R_{e r r}\left(z_{t}, \boldsymbol{P}_{t}\right)+\psi\left(\boldsymbol{U} \tilde{A}_{t}, \boldsymbol{P}_{t} \tilde{B}_{t}\right)
\]
可以进行如下解读：

  • \(r\left(\boldsymbol{P}_{t-1}, \boldsymbol{P}_{t}\right)\)希望相邻样本的特征变化方式相对平滑
  • \(R_{e r r}\left(z_{t}, \boldsymbol{P}_{t}\right)\)新变化对于样本的重构误差小，体现算法的性能好
  • \(\psi\left(\boldsymbol{U} \tilde{A}_{t}, \boldsymbol{P}_{t} \tilde{B}_{t}\right)\)源域上的特征变化\(\mathbf{U}\)与当前特征变化\(\mathbf{P}_t\)经过对应的投影\(\tilde{A}_{t}\)与\(\tilde{B}_{t}\)后，投影到相同的特征空间中。

最终，我们就可以使用线性映射\(W_{t}=\tilde{A}^{T} \boldsymbol{U}^{T} \boldsymbol{P}_{t} \tilde{B}_{t}\)将新的样本映射回源域的特征空间中，利用源域数据训练的模型分类。

实际上，优化上述形式化时，我们使用样本更新对应参数的过程可以迭代地进行：

  • 得到新样本\(z_t\)
  • 根据\(\tilde{A}_{t-1}\)与\(\tilde{B}_{t-1}\)计算\(\mathbf{P}_t\)
  • 根据\(\mathbf{P}_t\)更新\(\tilde{A}_{t}\)与\(\tilde{B}_{t}\)

那么，原始目标式中第一项与第三项实际上就变为对于特征变化的一个平滑正则。最终，原始的优化目标式实际上就变成了带有平滑域自适应正则的重构损失：
\[
\begin{array}{cc}
\min _{\boldsymbol{P}_{t}} & r\left(\boldsymbol{P}_{t-1}, \boldsymbol{P}_{t}\right)+R_{e r r}\left(z_{t}, \boldsymbol{P}_{t}\right) \\
\text { s.t } & \boldsymbol{P}_{t}^{T} \boldsymbol{P}_{t}=I
\end{array}
\]

其中，这个最终的目标式就可以使用很多以往的技术来实现，例如：文章配套的实验中使用了GFK与SA两个已有的域自适应算法来更新。

代码

原文的代码使用 Matlab 编写，对应 Repo： https://github.com/jhoffman/cma

其中代码中，GFK部分的Python实现可以看见Jing-Dong Wang大佬的迁移学习 Repo：https://github.com/jindongwang/transferlearning/tree/master/code/traditional/GFK