现有的二维异常检测方法大致可以分为两类：基于重建的和基于特征嵌入的。

前者利用了仅用正常特征训练的生成器无法成功重建异常特征的特点。

而后者旨在通过训练有素的特征提取器对正常样本的分布进行建模，在推理阶段，将分布外的样本视为异常。

基于特征嵌入的方法更灵活，并在二维RGB异常检测任务上显示出有希望的性能。

然而，将二维特征嵌入范式简单地转移到三维领域并不容易。以最先进的基于嵌入的方法PatchCore为例，当与手工制作的三维表示（FPFH）结合使用时，它产生了一个强大的多模态异常检测基线。

然而，通过实验发现PatchCore+FPFH基线存在两个缺点，第一，由于预训练知识与工业场景之间的巨大差异，它容易将异常区域误认为是正常区域。第二，当涉及到具有更复杂纹理的类别时，它有时无法识别小的异常模式。

为了解决上述问题，该方法采用了特征适配策略，以进一步提高预训练模型的容量，并学习面向任务的特征描述符。

在模态方面，颜色更有效地识别纹理异常，而深度信息有助于检测三维空间中的几何变形，因此，最好利用模态内和跨模态信息进行适配。

另一方面，在粒度方面，模态间的对象级对应有助于学习紧凑的表示，而异常检测需要局部敏感性以识别微妙的异常，因此，需要一个多粒度的学习目标。

基于上述考虑，提出了一种新颖的局部到全局自监督多模态特征适配框架，名为LSFA，以更好地将预训练知识转移到下游异常检测任务。

具体来说，LSFA从两个视角执行适配：模态内和跨模态。前者适配引入了模态内特征紧凑性（IFC）优化，其中多粒度记忆库被应用于学习正常特征的紧凑分布。对于后者，设计了跨模态局部到全局一致性（CLC）以在补丁级别和对象级别对齐不同模态的特征。

在两种模态的多粒度信息的帮助下，通过LSFA适配的模型产生了面向三维空间异常检测的目标导向特征，因此能够捕捉到小的异常，同时避免误报。对于异常检测的最终推理，利用LSFA微调的特征构建记忆库，并通过计算特征差异来确定正常/异常。

总结来说，这项工作的主要贡献如下：

• 提出了LSFA，这是一个新颖有效的3D异常检测框架，它通过模态间局部到全局的对应关系来适配预训练特征。
• 在LSFA中，提出了 模态内特征紧凑性优化（IFC），以动态更新的记忆库从补丁级和原型级改进特征紧凑性。
• 在LSFA中，提出了 跨模态局部到全局一致性对齐（CLC），以多粒度对比信号减轻跨模态错位。