(2) posts in the same subtree direct at the individual opinion expressed in the root of the subtree.
(3) Coherent opinions can be captured by comparing ALL responsive posts in the same subtree, that lower weight the incorrect information. Bottom-Up TransformerFigure 2(c) 说明了本文的 tree transformer 结构 ， 它 cross-check 从底部子树到上部子树的 post 。具体来说 ， 给定一个有根于 $x_j$ 的子树 ， 假设 $\mathcal{V}(j)=\left\{x_{j}, \ldots, x_{k}\right\}$ 表示子树中的节点集合 ， 即 $x_j$ 及其直接响应节点 。然后 ， 我们在 $\mathcal{V}(j)$ 上应用一个 post-level subtree attention（a transformer-based block as shown in Figure 2(b)） ， 以得到 $\mathcal{V}(j)$ 中每个节点的细化表示：
$\left[s_{j}^{\prime} ; \ldots ; s_{k}^{\prime}\right]=\operatorname{TRANS}\left(\left[s_{j} ; \ldots ; s_{k}\right], \Theta_{T}\right) \quad\quad\quad(5)$
其中 ， $TRANS (\cdot)$ 是具有如 Eq. 2-4 中所示的相似形式的 transform function ， $\Theta_{T}$ 包含了 transformer 的参数 。因此 ， $s_{*}^{\prime}$ 是基于子树的上下文得到的 $s_{*}$ 的细化表示 。请注意 ， 每个节点都可以被视为不同子树中的父节点或子节点 ， 例如 ， 在 Figure 2(a) 中 ， $x_{2}$ 可以是 $T\left(x_{2}\right)$ 的父节点 ， 也可以是 $T(r)$ 的子节点 。因此 ， 一部分的节点在我们的 from bottom subtree to upper subtree 模型中结果两次层次细化：(1)通过与父节点相比来捕获立场 stance ， (2) 通过关注邻居节点来获得较低权重的不准确信息 ， 例如 ， 一个父母支持一个错误的声明可能会细化如果大多数响应驳斥父节点 。
Top-Down TransformerTop-down transformer 的方向与 bottom-up transformer 相反 ， 沿着信息传播的方向 ， 其架构如 Figure 2 (d) 所示 。同样的 ， 其学习到的表示也通过捕获立场和自我纠正上下文信息得到增强 。
2.3 The overall Model为了共同捕获整个树中表达的观点 ， 我们利用一个注意力层来选择具有准确信息的重要帖子 ， 这是基于细化的节点表示而获得的 。这将产生：
$\begin{array}{l}\alpha_{i}=\frac{\exp \left(s_{i}^{\prime} \cdot \mu^{\top}\right)}{\sum\limits_{j} \exp \left(s_{j}^{\prime} \cdot \mu^{\top}\right)} \\\tilde{s}=\sum\limits_{i} \alpha_{i} \cdot s_{i}^{\prime}\end{array}\quad\quad\quad(6)$
其中 ， $s_{i}^{\prime}$ 由 Bottom-Up Transformer 或 Top-Down Transformer 得到 ， $\mu \in \mathbb{R}^{1 \times d}$ 是注意力机制的参数 。这里的 $\alpha_{i}$ 是节点 $x_i$ 的注意权值 ， 用于生成整个树的表示 $\tilde{s}$ 。最后 ， 我们使用一个全连接的输出层来预测谣言类上的概率分布 。
$\hat{y}=\operatorname{softmax}\left(V_{o} \cdot \tilde{s}+b_{o}\right) \quad\quad\quad(7)$
其中 ， $V_{o}$ 和 $b_{o}$ 是输出层中的权值和偏差 。
此外 ， 还有一种直接的方法可以将 Bottom-Up transformer 与 Top-Down transformer 的树表示连接起来 ， 以获得更丰富的树表示 ， 然后将其输入上述的 $softmax (\cdot)$ 函数进行谣言预测 。
我们所有的模型都经过训练 ， 以最小化预测的概率分布和地面真实值的概率分布之间的平方误差：
$L(y, \hat{y})=\sum_{n=1}^{N} \sum_{c=1}^{C}\left(y_{c}-\hat{y}_{c}\right)^{2}+\lambda\|\Theta\|_{2}^{2} \quad\quad\quad(8)$
其中 $y_{c}$ 是 ground-truth label ， $\hat{y}_{c}$ 是类C的预测概率 ， $N$ 是训练的树数 ， C 是类的数量 ， $\|.\|_{2}$ 是所有模型参数 $\Theta$ 上的 $L_{2}$ 正则化项 ， $\lambda$ 是权衡系数 。
经验总结扩展阅读
- 一 CPS攻击案例——基于脉冲宽度调制PWM的无人机攻击
- 一篇文章带你掌握主流服务层框架——SpringMVC
- 如何检测手机
- Linux命令系列之top——里面藏着很多鲜为人知的宝藏知识
- 2 Libgdx游戏开发——接水滴游戏实现
- 水质检测笔多少为正常
- 1 Libgdx游戏学习——环境配置及demo运行
- 翅尖有毒是谣言吗
- 一篇文章带你掌握主流基础框架——Spring
- Go设计模式学习准备——下载bilibili合集视频