【推荐算法】特征域感知因子分解机(Field-aware Factorization Machines,FFM)

特征域感知因子分解机(Field-aware Factorization Machines,FFM)主要解决了FM的以下几个痛点:

  1. 更准确的特征embedding表达。FM中,每个特征只由一个embedding向量表达,这样虽然能增强模型的泛化性能,但是也大大削弱了模型的记忆能力。FFM在POLY_v2与FM中找到一个平衡,每个特征不再仅由一个embedding向量表示,而是对每个特征域都有一个embedding向量,使embedding表达更加准确。

算法

FFM引入特征域感知(field-aware)这一概念,使每一个特征对每一种特征域的组合都有一个单独的隐向量。这意味着FFM中每个特征包含一组隐向量。

\[\text{FFM}(\mathbf{w, x})=w_{0}+\sum_{i=1}^{n} w_{i} x_{i}+\sum_{i=1}^{n} \sum_{j=i+1}^{n}\left\langle\mathbf{v}_{i, f_{j}}, \mathbf{v}_{j, f_{i}}\right\rangle x_{i} x_{j} \]

FFM无法使用FM这样的化简方法(自己看一下FM的化简公式就知道了),所以训练和推理的时间复杂度为\(O(kn^2)\)。

特征域一般表示某一种特征,例如,“职业”可以为一个特征域,其one-hot表示可能为000100,则表示这个特征域包含6个特征。特征域也可以有更加灵活的定义,比如表示“用户”特征或者“物品”特征,而“用户”特征是由“职业”、“年龄”等特征的embedding进行pooling得到的。具体实现非常灵活,可以因地制宜。

模型输入

FFM的一阶部分可以直接复用LR,只需要额外实现各个特征域的二阶交叉。我们可以表示出每个特征的embedding向量组后,对特征域依次交叉。

class FieldAwareFactorizationMachine(torch.nn.Module):
    def __init__(self, field_dims, embed_dim):
        super().__init__()
        self.num_fields = len(field_dims) # 特征域数量
        self.embeddings = torch.nn.ModuleList(
            [torch.nn.Embedding(sum(field_dims), embed_dim) for _ in range(self.num_fields)]
        ) # 每个特征的embedding向量组
        self.offsets = np.array((0, *np.cumsum(field_dims)[:-1]), dtype=np.long)
        for embedding in self.embeddings:
            torch.nn.init.xavier_uniform_(embedding.weight.data)

    def forward(self, x):
        """
        :param x: Long tensor of size ``(batch_size, num_fields)``
        """
        x = x + x.new_tensor(self.offsets).unsqueeze(0)
        xs = [self.embeddings[i](x) for i in range(self.num_fields)]
        ix = list()
        for i in range(self.num_fields - 1):
            for j in range(i + 1, self.num_fields):
                ix.append(xs[j][:, i] * xs[i][:, j]) # 特征域交叉
        ix = torch.stack(ix, dim=1)
        return ix

最后,构建完整的FFM前向传播链路:

class FieldAwareFactorizationMachineModel(torch.nn.Module):
    def __init__(self, field_dims, embed_dim=10):
        super().__init__()
        self.linear = FeaturesLinear(field_dims)
        self.ffm = FieldAwareFactorizationMachine(field_dims, embed_dim)

    def forward(self, x):
        """
        :param x: Long tensor of size ``(batch_size, num_fields)``
        """
        ffm_term = torch.sum(torch.sum(self.ffm(x), dim=1), dim=1, keepdim=True)
        x = self.linear(x) + ffm_term
        return torch.sigmoid(x.squeeze(1))

模型效果

设置:
数据集:ml-100k
优化方法:Adam
学习率:0.003

效果:
收敛epoch:6
train logloss: 0.48356
val auc: 0.78662
test auc: 0.78931

上一篇:spring


下一篇:论文阅读笔记:Geography-Aware Sequential Location Recommendation