文章目录

• 论文解读系列文章目录
• 一、近年来的研究主要致力于探索各种融合策略，以将多模态信息整合为所有标签的统一表示。然而，这样的学习方案不仅忽略了每个模态的特异性，而且不能捕获不同标签的个体区别特征。 这段话什么意思
• 二、有效地建模标签到标签和模态到标签的依赖性”意思是
• 三、给定训练数据集 D = { ( X i { t , v , a } , y i ) } i = 1 N D=\{({\bf X}_{i}^{\{t,v,a\}},y_{i})\}_{i=1}^{N} D={(Xi{t,v,a}​,yi​)}i=1N​，MMER旨在学习函数 F : X t × X v × X a ↦ Y \mathcal{F}:{\mathcal{X}}^{t}\times\mathcal{X}^{v}\times\mathcal{X}^{a}\mapsto\mathcal{Y} F:Xt×Xv×Xa↦Y以预测每个视频的相关情绪。具体地， X i m ∈ X m X_i^m ∈ X^m Xim​∈Xm是异步协调话语序列，并且 y i = { 0 ， 1 } C y_i =\{0，1\}^C yi​={0，1}C是多热标签向量，其中符号 y i , j = 1 y_{i,j} =1 yi,j​=1指示样本 i i i属于类别 j j j，否则 y i , j = 0 y_{i,j} =0 yi,j​=0。这里面的异步协调话语序列 什么意思举个例子
• • • 示例解释
• 四、为了确保重构的特征向量能够恢复原始信息，我们使用均方误差将重构损失公式化，其中 ∥ ⋅ ∥ F \parallel\cdot\parallel F ∥⋅∥F返回矩阵的Frobenius范数。 这里面的 范数有何作用？
• • • 总结
• 五、Fully-connected Max-pooling Network 的图 什么意思？
• 六、举个简单带计算的例子
• 七、为什么叫内在向量
• 八、计算内在向量 D m = { d m , j ∈ R d z } j = 1 C D_m = \{d_{m,j} \in \mathbb{R}^{d_z}\}_{j=1}^C Dm​={dm,j​∈Rdz​}j=1C​，以反映不同模态中每个标签 j j j 的特征分布（在下一个子节中详细解释）。这句话什么意思？
• 九、利用对比学习来学习一个可区分的潜在嵌入空间 S z S^z Sz 这句话什么意思
• 十、为了构造正样本集合，考虑到学习每个标签的模态特定特征分布的目的，我们重新定义每个 e e e 的标签。根据模态 m m m、标签类别 j j j 和标签极性 k k k，新标签定义为 y ~ = l j , k , m m \tilde{y} = l_{j, k, m}^m y~​=lj,k,mm​，其中 m ∈ { t , v , a } m \in \{t, v, a\} m∈{t,v,a}， j ∈ [ C ] j \in [C] j∈[C]， k ∈ { pos , neg } k \in \{\text{pos}, \text{neg}\} k∈{pos,neg}。因此，正样本被选择为 P ( e ) = { e ′ ∣ e ′ ∈ E ( e ) , y ~ ′ = y ~ } P(e) = \{e' | e' \in E(e), \tilde{y}' = \tilde{y}\} P(e)={e′∣e′∈E(e),y~​′=y~​}，其中 y ~ ′ \tilde{y}' y~​′ 是 e ′ e' e′ 的标签。换句话说，正样本集合包含来自相同模态且具有相同标签类别和极性的嵌入。 什么意思？
• 十一、
• 十二、
• 十三、