Unsupervised feature selection by regularized self-representation（RSR）

Pattern Recognition， 无监督FS

代码  https://github.com/AISKYEYE-TJU/RSR-PR2015

RSR简单介绍

https://blog.csdn.net/lameraaa/article/details/102539024

论文

https://www.sciencedirect.com/science/article/pii/S0031320314002970

 

uncorrelated regression model with adaptive graph structure(URAFS)

TNNLS， 结合谱分析的无监督FS

https://github.com/13952522076/L21FS/tree/b9d4e8eb7f6d7b5ccc62f9e638bdaef798b62e5e/0V2

论文

https://ieeexplore.ieee.org/document/8474999

 摘自论文（可以参考）

一般来说，现有的无监督特征选择方法包括基于过滤器的方法[7]-[8][9]，基于包装器的方法[10]，以及基于嵌入的方法[11]-[12][13][14][15]。在这些方法中，嵌入方法通常是近年来最流行的。参考文献[16]概述了最近的结构化稀疏诱导特征选择方法，这是基于嵌入式方法的另一种表达。这种方法将特征选择的过程纳入训练模型的过程中。在模型优化过程中，可以直接评价各特征的性能。为了充分利用数据的几何结构，现有的基于嵌入的方法大多利用了光谱分析技术。哪些已经在大量的文献中被证实达到了很有前途的性能传统的基于频谱的特征选择方法[11]-[12][13][14]，[17]，[18]。[35]有两个步骤。首先，利用图拉普拉斯或非负矩阵分解等谱分析方法，探索数据的聚类结构。然后利用稀疏正则化模型学习特征选择矩阵。所有这些方法都独立进行特征选择和流形学习。这就导致了流形结构只能从原始数据中导出，并在后续过程中保持不变。原因是当数据的内嵌结构被优化时，无约束回归模型很容易遇到平凡的解决方案。因此，[19]提出利用几何流形学习代替回归模型，同时进行特征选择和局部结构学习。然而，还有另一个问题。上述方法只注重选择在聚类或分类任务中确实起决定性作用的区分性特征，而忽视了特征的冗余性。特征总是有许多不同的簇，对于高维数据，每个簇都有大量的特征。例如，人脸图像中有眼睛、鼻子和嘴巴的特征。因此，选择的高冗余特征会失去多样性，降低其在聚类或分类任务中的性能。

为了解决这个问题，我们提出了一个广义不相关回归模型(GURM)。随后，提出了一种基于自适应图的无监督特征选择(URAFS)不相关回归算法。本简报的主要贡献总结如下。1. 提出了一个不相关回归模型，可以同时进行特征选择和流形学习。该方法得益于变换矩阵的不相关约束，有助于选择有区别但不相关的特征2. 在特征选择中引入基于最大熵的自适应图结构作为图的正则化，将数据的几何结构嵌入到流形学习中。3.本文总结了一种高效的算法来实现该方法，并在8个基准数据集上进行了大量实验，验证了该方法的有效性和优越性。 

结合谱分析的无监督特征选择技术由于其良好的性能而受到了广泛的关注。在本节中，我们将概述基于谱回归模型的相关嵌入方法。频谱特征选择[8]利用图中的频谱来度量特征相关性，详细阐述了如何实现基于频谱的特征选择。多聚类特征选择(Multicluster feature selection, MCFS)[11]利用谱分析和-正则化回归模型对特征进行选择，以保持多聚类结构，而不是单独评估每个特征的贡献。Unsupervised discriminative feature selection (UDFS) 20]将discriminative analysis和e21-norm minimization合并到一个joint framework for Unsupervised feature selection。非负鉴别特征选择(NDFS)[14]利用联合框架中的鉴别信息和特征相关性，利用鲁棒非负矩阵的优势。分解、局部学习和鲁棒特征学习。随后，鲁棒谱特征选择(robust spectral feature selection, RSFS)[21]利用鲁棒局部学习方法构造拉普拉斯图，并遵循鲁棒谱回归方法来减轻噪声对学习到的聚类标签的影响，从而提高图结构和稀疏谱回归的鲁棒性。同时，joint embedding learning and sparse regression (JELSR)[13]致力于JELSR，而不是用图拉普拉斯算子来表征高维数据的结构。结构最优图特征选择(SOGFS)[19]提出了一种同时进行特征选择和局部结构学习的方法。在此基础上，自适应地确定相似矩阵。此外，共识引导无监督特征选择[18]引入共识聚类进行伪标记，消除了昂贵的特征分解，提供了更好的聚类精度和较高的鲁棒性。

 

Concrete-Autoencoders（CAE）

Proceedings of the Thirty-Sixth International Conference on Machine Learning（ICML）

https://github.com/mfbalin/Concrete-Autoencoders/blob/master/README.md

简单介绍

https://blog.csdn.net/KuXiaoQuShiHuai/article/details/115336754