Online Meta-Learning [ICML’19]

本文将 Online Learning 与 Meta-Learning 进行了结合，提出了一种新的在线学习范式：在线元学习。在这一范式之下，本文提出了 Follow The Meta Leader 算法 (FTML) 将 MAML 算法拓展至在线场景，并给出了 \(O(log T)\) 的遗憾界。

传统 Online Learning 范式在数据流式到达时持续更新模型，但没有考虑利用当前任务的数据对模型进行任务特定的更新(Task-specific Adaptation)。元学习则考虑利用以往任务知识使模型快速更新到当前任务上，但是不适用于流数据。因此，将两者结合可以得到一个更适于流数据的任务范式，一方面既可以利用流数据学习优秀的模型先验，另一方面也可以快速更新到当前任务中。

假定t时刻的损失函数为\(f_t:\mathbf{w} \in \mathcal{W}\rightarrow \mathbb{R}\)，算法首先对模型进行任务相关的更新：\(\boldsymbol{U}_t: \mathbf{w}\in \mathcal{W}\rightarrow\tilde{w}\in \mathcal{W}\)，再使用模型预测。实际中，可以使用一步梯度下降对模型进行更新：\(\boldsymbol{U}_t(\mathbf{w})=\mathbf{w}-\alpha \nabla \hat{f}_t(\mathbf{w})\)。
在这种范式下，模型的遗憾界定义为：

\[\text { Regret }_T=\sum_{t=1}^T f_t\left(\boldsymbol{U}_t\left(\mathbf{w}_t\right)\right)-\min _{\mathbf{w}} \sum_{t=1}^T f_t\left(\boldsymbol{U}_t(\mathbf{w})\right)
\]

元模型更新的过程为：

\[\mathbf{w}_{t+1}=\arg \min _{\mathbf{w}} \sum_{k=1}^t f_k\left(\boldsymbol{U}_k(\mathbf{w})\right)
\]

本文针对 FTML 算法进行理论分析，当所有时刻t的函数\(f_t,\hat{f}_t\)满足以下假设时：
Assumption
有以下定理成立：
Corollary