迁移学习(EDA)《Energy-based Domain Adaption with Active Learning for Emerging Misinformation Detection》

论文信息

论文标题:Energy-based Domain Adaption with Active Learning for Emerging Misinformation Detection
论文作者:Kyumin Lee; Guanyi Mou; Scott Sievert
论文来源:
论文地址:download 
论文代码:download

1 介绍

  基于能量的模型(EBM),应该给正确的类 $breve{y}$ 产生较低的能量:

    $breve{y}=operatorname{argmin}_{y in Y} E(x, y) quadquadquad(1)$

  本文域适应损失——源域监督损失 + 域对齐损失。

  源域监督损失 $L_{s-text { classification }}$ 如下:

    $L_{s-text { classification }}=E(x, y ; theta)^{2}+e x p^{(-E(x, bar{y} ; theta))}  quadquadquad(2)$

  其中,$y$ 是真实的类,$bar{y}$ 是另一个/不正确的类。

  域对齐损失 $L_{D-text { Alignment }}$ 如下:

    $L_{D-text { Alignment }}=max left(0, mathbb{E}_{x sim mathcal{D}_{S}} F(x ; theta)-mathbb{E}_{x sim mathcal{D}_{T}} F(x ; theta)right) quadquadquad(3)$

  其中,$F(x ; theta)= -log sumlimits _{y in Y} exp ^{(-E(x, y ; theta))}$ 。

  总损失如下

    $L_{D A}=L_{S text {-classification }}+lambda * L_{D-text { Alignment }} quadquadquad(4)$

  如 Figure 1 所示,模型经过域自适应训练,就进行主动学习,它基于一定准测从目标域选取一些实列,并取得其真实标签。然后,使用带标记的目标实例来进一步训练我们的模型。

  在每一轮中,一旦从目标域得到带有标记的样本,将进一步重新训练模型,然后测量以下损失函数:

    $L_{A L}=L_{T text {-classification }}+lambda * L_{D-text { Alignment }} quadquadquad(5)$

  $L_{T text {-classification }}$ 代表了带标记样本的分类损失(选择的)。$L_{D-text { Alignment }}$ 用于对齐源域和目标域的自由能分布。

  Note:本文的主动学习策略为:(i) 随机选择(EDA-randon)和 (ii)基于不确定性的选择(EDA-不确定性)。

  模型框架图:

  迁移学习(EDA)《Energy-based Domain Adaption with Active Learning for Emerging Misinformation Detection》

2 实验

数据集

  迁移学习(EDA)《Energy-based Domain Adaption with Active Learning for Emerging Misinformation Detection》

实验细节

  每个数据集分别被拆分为训练集、验证集和测试集,其比例分别为 70%、10% 和 20%。选择其中一个数据集作为目标域数据集,其余两个数据集通过组合在一起作为源域数据集。

实验结果

  迁移学习(EDA)《Energy-based Domain Adaption with Active Learning for Emerging Misinformation Detection》

  迁移学习(EDA)《Energy-based Domain Adaption with Active Learning for Emerging Misinformation Detection》

发表评论

相关文章