所谓的调参侠。~~虽然我现在基本都将超参数设置为1~~

Loss weight

Multi-Task Learning Using Uncertainty to Weigh Losses for Scene Geometry and Semantics——2018

Make the observation that the performance of such systems is strongly dependent on the relative weighting between each task’s loss. 这篇文章主要讲述在多任务回归和分类中，多任务联合学习可以提升各任务的学习效果，因为多任务可以共享数据集、共享低层特征、减少计算，但是loss中如何分配相对权重也是重要的问题之一。

文中指出最优权重是和测量尺度以及任务噪声相关，提出了基于任务的不确定性系数homoscedastic uncertainty of each task来调整损失函数中的加权超参，使得每个任务中的损失函数具有相似的尺度。

文中实验采用的是：语义分割、实例分割、深度估计三个任务。

Uncertainty:

Epistemic uncertainty偶然不确定性: lack of training data
Aleatoric uncertainty认知不确定性: all explanatory variables with increasing precision.
- Data-dependent or Heteroscedastic uncertainty: depends on the input data输入数据没有在训练数据中见过
- Task-dependent or Homoscedastic uncertainty

设在权重W，输入x的网络的输出为 $f^W(x)$ ，噪声量 $\sigma^2$ ，则回归结果可能性向量和分类结果可能性向量分别为：

$p(y|f^W(x))=\mathcal N(f^W(x), \sigma^2)\\p(y|f^W(x))=Softmax(f^W(x))$

根据最大似然估计，我们最大化log形式，这样对于回归部分：

$\log p\left(\mathbf{y} \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x})\right) \propto-\frac{1}{2 \sigma^{2}}\left\|\mathbf{y}-\mathbf{f}^{\mathbf{W}}(\mathbf{x})\right\|^{2}-\log \sigma$

注：

高斯分布：
$f(x)=\frac{1}{\sqrt{2 \pi} \sigma} \exp \left(-\frac{(x-\mu)^{2}}{2 \sigma^{2}}\right)$
在回归问题中，u为 $f^W(x)$ , x为y, $\sigma$ 为 $\sigma$

现假设两个独立回归任务：

$\begin{aligned} p\left(\mathbf{y}_{1}, \mathbf{y}_{2} \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x})\right) &=p\left(\mathbf{y}_{1} \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x})\right) \cdot p\left(\mathbf{y}_{2} \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x})\right) \\ &=\mathcal{N}\left(\mathbf{y}_{1} ; \mathbf{f}^{\mathbf{W}}(\mathbf{x}), \sigma_{1}^{2}\right) \cdot \mathcal{N}\left(\mathbf{y}_{2} ; \mathbf{f}^{\mathbf{W}}(\mathbf{x}), \sigma_{2}^{2}\right) . \end{aligned}$

我们可以转换为求最小差值

$\begin{array}{l} L(W,\sigma_1,\sigma2)=-\log p\left(\mathbf{y}_{1}, \mathbf{y}_{2} \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x})\right) \\ \propto \frac{1}{2 \sigma_{1}^{2}}\left\|\mathbf{y}_{1}-\mathbf{f}^{\mathbf{W}}(\mathbf{x})\right\|^{2}+\frac{1}{2 \sigma_{2}^{2}}\left\|\mathbf{y}_{2}-\mathbf{f}^{\mathbf{W}}(\mathbf{x})\right\|^{2}+\log \sigma_{1} \sigma_{2} \\ =\frac{1}{2 \sigma_{1}^{2}} \mathcal{L}_{1}(\mathbf{W})+\frac{1}{2 \sigma_{2}^{2}} \mathcal{L}_{2}(\mathbf{W})+\log \sigma_{1} \sigma_{2} \end{array}$

如果输出y的噪声 $\sigma$ 越大，第一项的权重就越小，整体就小；但不可过大，否则第三项就过大了。

对于分类模型，我们增加一个正的规模（缩放？）超参数 $\sigma$ ，则有

$p(y|f^W(x),\sigma)=Softmax(\frac 1 {\sigma^2}f^W(x))$

这部分可以看作Boltzmann 玻尔兹曼分布。它的似然估计就为：

$\begin{aligned} \log p\left(\mathbf{y}=c \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x}), \sigma\right) &=\frac{1}{\sigma^{2}} f_{c}^{\mathbf{W}}(\mathbf{x}) \\ &-\log \sum_{c^{\prime}} \exp \left(\frac{1}{\sigma^{2}} f_{c^{\prime}}^{\mathbf{W}}(\mathbf{x})\right) \end{aligned}$

Softmax:
$S(x)_{i}=\frac{e^{x_i}}{\sum_{j} e^{x_j}}$

现假设两个独立的任务，一个是分类一个是回归，则：

$\begin{array}{l} =-\log p\left(\mathbf{y}_{1}, \mathbf{y}_{2}=c \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x})\right) \\ =-\log \mathcal{N}\left(\mathbf{y}_{1} ; \mathbf{f}^{\mathbf{W}}(\mathbf{x}), \sigma_{1}^{2}\right) \cdot \operatorname{Softmax}\left(\mathbf{y}_{2}=c ; \mathbf{f}^{\mathbf{W}}(\mathbf{x}), \sigma_{2}\right) \\ =\frac{1}{2 \sigma_{1}^{2}}\left\|\mathbf{y}_{1}-\mathbf{f}^{\mathbf{W}}(\mathbf{x})\right\|^{2}+\log \sigma_{1}-\log p\left(\mathbf{y}_{2}=c \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x}), \sigma_{2}\right) \\ =\frac{1}{2 \sigma_{1}^{2}} \mathcal{L}_{1}(\mathbf{W})+\frac{1}{\sigma_{2}^{2}} \mathcal{L}_{2}(\mathbf{W})+\log \sigma_{1} \\ \quad+\log \frac{\sum_{c^{\prime}} \exp \left(\frac{1}{\sigma_{2}^{2}} f_{c^{\prime}}^{\mathbf{W}}(\mathbf{x})\right)}{\left(\sum_{c^{\prime}} \exp \left(f_{c^{\prime}}^{\mathbf{W}}(\mathbf{x})\right)\right)^{\frac{1}{\sigma_{2}^{2}}}} \\ \approx \frac{1}{2 \sigma_{1}^{2}} \mathcal{L}_{1}(\mathbf{W})+\frac{1}{\sigma_{2}^{2}} \mathcal{L}_{2}(\mathbf{W})+\log \sigma_{1}+\log \sigma_{2} \end{array}$

其中

$\mathcal L_1(W)=\|y_1-f^W(x)\|^2\\ \mathcal L_2(W)=-\log softmax(y_2, f^W(x))\\ \frac 1 {\sigma_2}{\sum_{c^{\prime}} \exp \left(\frac 1{\sigma_2^2}f_{c^{\prime}}^{\mathbf{W}}(\mathbf{x})\right)}\approx\sum_{c^{\prime}} \exp \left(f_{c^{\prime}}^{\mathbf{W}}(\mathbf{x})\right)^{\frac{1}{\sigma_{2}^{2}}}$

当 $\sigma_2$ 趋向于1时，三式取等号。

对于多任务的输出有：

$p\left(\mathbf{y}_{1}, \ldots, \mathbf{y}_{K} \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x})\right)=p\left(\mathbf{y}_{1} \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x})\right) \ldots p\left(\mathbf{y}_{K} \mid \mathbf{f}^{\mathbf{W}}(\mathbf{x})\right)$

按上述方法就可以扩展到线性、离散的线性组合之中；最终我们学习的是 $\log\sigma^2$ ，而不是 $\sigma^2$ ，前者更加稳定。

Learning rate

通常：

1	optimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss)

但是不同任务可能最优的lr不同，选择较大的，会导致dying relu；选择较小的，收敛慢；于是提出采用不同的lr。【分为三个部分：共享的、仅有A、仅有B】

all_variables = shared_vars + a_vars + b_vars
all_gradients = tf.gradients(loss, all_variables)
shared_subnet_gradients = all_gradients[:len(shared_vars)]
a_gradients = all_gradients[len(shared_vars):len(shared_vars + a_vars)]
b_gradients = all_gradients[len(shared_vars + a_vars):]
shared_subnet_optimizer = tf.train.AdamOptimizer(shared_learning_rate)
a_optimizer = tf.train.AdamOptimizer(a_learning_rate)
b_optimizer = tf.train.AdamOptimizer(b_learning_rate)
train_shared_op = shared_subnet_optimizer.apply_gradients(zip(shared_subnet_gradients, shared_vars))
train_a_op = a_optimizer.apply_gradients(zip(a_gradients, a_vars))
train_b_op = b_optimizer.apply_gradients(zip(b_gradients, b_vars))
train_op = tf.group(train_shared_op, train_a_op, train_b_op)

Gradient

当训练一个GAN模型时，我们不需要将梯度后向传播到对抗样本的生成过程中，就可以将stop_gradients设置为对应的tensor变量。

1	all_gradients = tf.gradients(loss, all_variables, stop_gradients=stop_tensors)

转载请注明出处，谢谢。

愿我是你的小太阳