11.77 特征学习模型在天文光谱识别中的 应用

随着新一代巡天观测、时域观测等天文项目的推进，当前的天文数据以“雪崩”之势增长[18] ，由此导致了天文数据自动挖掘方法研究的必要性和迫切性。国际上，近年来大规模图像巡天和大样本光谱巡天方面已经取得了长足的进展[19] ，特别是一系列光谱巡天计划的成功实施，使人们获得了空前丰富的恒星光谱资料，推动了天文学各个分支的蓬勃发展。恒星光谱，无论是连续谱还是线谱，差异极大。恒星光谱主要取决于恒星的物理性质和化学组成。因此，恒星光谱类型的差异反映了恒星性质的差异。采用不同的分类标准，将得到不同的分类系统。

目前最通用的恒星分类法主要依据恒星的温度由高至低排序（质量、半径和亮度皆与太阳比较），它将恒星的光谱分成七大类（O、B、A、F、G、K、M），每类再细分为若干小类。大天区面积多目标光纤光谱天文望远镜（Large Sky Area Multi-ObjectFiber Spectroscopy Telescope，LAMOST） [20] 是 最大的天文光谱观察项目之一，样本光谱如图 9 所示（图中，x 轴表示波长；y 轴表示标准化后的强度。)
恒星光谱数据的一个重要特点就是超高维 ( 维度高达 5201)。领域知识显示恒星光谱类型主要依赖于温度和光亮。这意味着原始 5201 维的恒星光谱特征是低层次的，而深度学习模型往往通过训练可以获得高层次的特征。文献 [21] 显示恒星光谱数据中固有的低维局部线性流形结构嵌入在高维空间中。因此，我们给出了局部线性深度学习（LLDL）模型以获得具有局部线性结构的高层次特征，如图 10 所示。LLDL 主要包括输入层、多个 Maxout隐含层和输出层。Maxout 函数是一个全局的近似器，可以拟合任意凸曲线[22] 。这保证了 Maxout 几乎在每一处都具有局部线性的性质。这种具有局部线性特性的网络不仅可以获得变量之间的相关性，而且使得激励函数变得可学习。相比于深度神经网络 (DNN) 中常用的固定、预先指定的激励函数（如 sigmoid 和 ReLU 等），Maxout 通过适应性的激励拥有很强的泛化能力。同时，当采用梯度下降训练算法时，Maxout 函数可以保证梯度在每一个Maxout 神经元上总是传播的，即便当某个神经元的值为0时。相反，ReLU激励函数（ReLU max(0, z)）因其在神经元的值为 0 时是梯度是不变的，所以有碍于梯度的传播。
由于 DNN 的网络参数可以达到百万级甚至亿级，使其自然而然成为非常强大的机器学习系统。这同样导致了 DNN 的训练过程缓慢及易于出现过拟合，尤其对超高维和低信噪比的恒星光谱数据。为应对此类问题，我们采用 Dropout [23] 技术来规则化局部线性的 Maxout 网络。DNN 中的 Dropout策略有点类似于 Bagging [24] ，即许多不同的模型在不同的数据子集上被训练；而又区别于 Bagging，Dropout 每一步训练一个模型，所有模型共享网络参数。例如，假设输出神经元个数为 N，每一次训练时，随机地隐去其中部分神经元得到一个模型进行参数更新，总的模型个数为 2 N ，所有这些模型共享参数。

我们在两个天文数据集 LAMOST 和 SDSS 验证了 LDLL 模型的有效性。