使用LSTM和非参数的动态阈值检测航天器的异常，发表在2018年的KDD上。

ABSTRACT

   随着航天器返回越来越多的遥测数据，需要改进异常检测系统以减轻操作工程师的监控负担并降低操作风险。当前的航天器监视吸引同仅针对一部分的异常类型，并且由于这些数据异常涉及到的规模以及复杂性，常常需要高昂的人力成本来维护和开发。
   1.我们证明在标记SMAP卫星和Curiosity火星车的异常数据上，LSTM（RNN的一种）的有效性。
   2.我们还提出了在SMAP异常检测系统中实验实施期间开发的一种互补的，无监督的非参数异常阈值的处理方法。
   3.并且提供了减少false positive的策略，以及在开发中获得的其他关键改进和经验教训。

1.INTRODUCTION

   航天器是非常复杂且昂贵的机器，具有数千个遥测通道，包括温度，辐射，功率，仪器和计算活动等方面。 鉴于这些通道的复杂性和成本，监视这些通道是航天器运行的重要且必要的组成部分。 无法检测和响应潜在危险的环境可能导致航天器全部或部分损失，异常检测是向运维工程师发出意外行为警报的关键工具。
   当前用于航天器遥测的异常检测方法主要由分层警报组成，这些警报指示何时值偏离预定范围，以及对可视化和汇总通道统计信息进行手动分析。 少数航天器也已经实现了专家系统和基于最近邻的方法。需要定义和更新正常值的范围以进行不间断的分析和遥测。
基于统计和密度的方法也很容易错失掉异常。
   随着计算和存储能力的提升，遥测数据量的增加导致这些问题更加严重。NISAR卫星每天产生85TB的数据，这代表这个地球科学卫星的数据成指数级增长。任务的复杂性和时间框架的紧凑型都要求改进异常检测的解决方案，比如木卫2登陆艇要在木卫2表面上停留20-40天，在此期间需要地面的密集监控，因此，异常检测方法的精确于速度都会有助于分配此类任务相关的有限工程资源。
   多元时间序列数据中异常检测所面临的挑战在航天器遥测中也同样存在。由于缺少标记，所以必须使用无监督或者半监督的方法，现实世界中的系统通常是高度不稳定的，并且取决于当前环境，被检测的数据通常是多种多样的，由噪声的，高维的。在将异常检测用作诊断工具的情况下，需要一定程度的可解释性，识别航天器上的潜在问题而没有提供对于其本质的见解，对于工程师的价值有限。最后，必须要基于给定的情景在假阳性于假阴性之间找到合适的平衡。

   本篇论文的贡献
   本文中，作者改编和扩展了来自各个领域的方法，以解决或平衡上述的问题。这项工作通过航天器异常检测来介绍，但通常适用于大多数涉及多变量的时间序列数据异常检测的应用。
   1.作者使用了长短期记忆（LSTM）来实现较高的预测性能，同时保持整个系统的可解释性。
   2.生成预测模型后，作者提供了一种非参数的，动态的，无监督的阈值方法来评估残差。这种方法解决了在根据行为和价值对数据流的特征自动设置阈值时的多样性，不稳定性，以及噪声的问题。
   3.文章同时介绍了利用用户反馈和历史数据来提升系统稳定性和性能的方法。
   4.作者使用来自突发事件异常，火星科学实验室（MSL），好奇号火星车，SMAP卫星的真实数据以及专家的标记来提供实验结果，工作人员使用这些报告来处理影响航天器的意外事件，并将其应用于发射之后有潜在风险的操作。
   5.最后，作者重点介绍了通过早期实施部署SMAP任务系统的里程碑，提升，改进和观察结果，并提供了方法和数据以及开源代码，供更广泛的研究使用。

2. BACKGROUND AND RELATEDWORK

   大量的异常检测提供了多种异常类型的定义，对于时间序列的数据，我们只需要考虑三种异常：点异常，上下文异常，集体异常。点异常时落在低密度区域内的单个值，集体异常表示序列是异常的，而不是任何单个值本身，上下文异常是不属于低密度区域的单个值，但是关于上下文反常。我们使用这些特征来辅助比较异常检测方法，并进一步从SMAP和MSL来剖析航天器的异常。
   多种应用程序，多种数据类型和多种异常类型保证了已经存在各种各样的异常检测方法。
   1.简单形式的异常检测有out-of-limits方法，通过提前定义阈值和原始数据值来检测异常。
   2.对OOL方法的改进有基于聚类的方法，基于最临近的方法，专家系统，降低维度等等方法。
   这些方法都已经在各种用例中证明是有效的，但每种方法都具有其自身的缺点，这些缺点与参数的规范，可解释性，可归纳性，计算开销等等因素有关。
   最近，RNN已经在各种序列的学习上表现出了先进的性能，并在各种领域都展现出了有效性，以下各节中，作者将讨论在先前航空航天应用中的方法的缺点，以及展现RNN应对这些挑战的能力。

2.1 Anomaly Detection in Aerospace

   上一节提到的许多方法都已经应用于航天器。
   应用于航天器的各种先前检测方法表明他们得到了最广泛的应用，但OOL仍然是航空航天工业中使用的最广泛的异常检测形式，尽管有许多局限性，但OOL方法因为许多因素广受欢迎，包括计算成本低，适用范围广，易于理解。较复杂的异常检测方法中可能不存在这些因素。NASA的Orca和IMS工具采用了最邻近和聚类的方法成功的检测了MER工程师在STS-115任务上发现的所有异常（高recall）但同时夜间过许多非异常的事件识别为异常（低精度），因此需要做更多的工作来减少误报。
   IMS使用基于聚类的方法，将先验数据表示为四个特征：平均值，标准差，最大值和最小值，并且需要仔细设置事件窗口的参数。作为一种神经网络，由于机载内存和计算资源的限制，ELMER仅在深空一号的10个温度传感器使用，值得注意的是，这些方法都没有利用超出先前遥测值的数据。
   对于考虑了先前其他方法的任务，其潜在的收益往往不足以超过它们的局限性以及可以感知到的风险。这是由于航天器高度的复杂性及其操作的保守性，但是这些方法没有展示出结果和可推广性足以支撑它广泛传播的合理性。由于这些因素，OOL方法仍然被广泛的使用，但是随着数据量的增长以及RNN方法在相似领域中显示出的深刻改进，这种情况势必会被改变。

2.2 Anomaly Detection using LSTMs

   深度学习，计算能力和神经网络体系结构的最新发展已经使得针对各种问题的性能突破，包括从序列到序列的学习任务，以前在航空航天中涉及的大量高维数据的应用都*使用less capable of modeling temporal information的方法，特别的，LSTM和相关的RNN在有效处理和有限考虑对将来的预测有价值的历史信息方面有了重大的突破。相比于DNN和早期的RNN，由于加入了基于上下文的自循环条件，使得LSTM可以忘记（累计）过去的信息，因此，LSTM可以提高保持长期依赖性的能力。它们能够处理高复杂度，时间或是序列数据，着保证了它能够广泛的被应用在包括NLP，文本分类，语音识别，时间序列检测等领域的广泛应用。
   LSTM的固有特性使得其成为对 时间序列，非线性数字流等数据进行已成检测的理想工具。LSTM能够学习过去的数据值和当前数据值之间的关系，并以学习权重的形式表示该关系。在使用象征性的数据进行训练时，LSTM可以捕获和对系统的正常行为进行建模，为从业人员提供正常条件下的系统行为模型。同时，它还可以处理多元时间序列数据，而无需进行降维或特定领域的特定专业知识。
   此外，LSTM方法可以建模复杂非线性特征的相互作用，这些相互作用经常出现在多元时间序列的数据流中，并且由于使用了跨时间使用的共享参数，无需指定时间窗口即可在异常检测任务中分析数据值。
   这些优势促使LSTM网络在一些异常检测任务中使用，LSTM模型适用于象征性的数据，并且模型的预测值将与设置了一系列检测规则的真实数据流相比较，来达到异常检测的目标。

3 METHODS

   下列方法构成了无监督异常检测方法的核心组件。
   1.该方法使用LSTM通过从正常命令和遥测序列中学习来预测大量遥测数据。
   2.然后使用一种新颖的无监督阈值处理方法来自动评估数百个到数千个遥测数据流，并最终确定预测的误差是否代表航天器异常。
   3.最后，概述了减少误报的策略，这些策略时建立用户信任和提高生产系统实用性的关键要素。

3.1 Telemetry Value Prediction with LSTMs

Single-ChannelModels.
   为每个遥测通道创建单个模型，并且每个模型都被用来预测该通道的值，当m很大时，LSTM难以准确的预测多维输出，从而将所有遥测流的输入到一个或者几个模型中。独立的对每个通道进行建模，还以后可以将低级别异常汇总到各个分组中，最终汇总为子系统。这使得可以详细的查看那些可能在其他方面被丢失的航天器异常模式，例如，如果要对系统进行训练可以在子系统级别进行异常检测，但是没有这种回溯性，则操作工程师仍需要查看子系统的大量通告和警报，以找到问题的根源。
   每个通道维护一个模型也有助于更精细的控制系统，Early-Stopping可以用于在模型和通道出现验证误差降低时进行限制，而由于过拟合出现的高方差预测之类的问题，可以逐个通道来解决，而不会影响整个系统。
Predicting Values for a Channel.
   考虑时间序列X={x(1),x(2)…x(n)},其中时间序列中的每个步骤x(t)∈Rm是一个m维向量{x1(t),x2(t),…,xm(t)}。其元素对应于输入变量。对应于每个点x(t)，序列长度ls定义为需要输入到模型中进行预测的点数。预测长度lp定义为我们要进行预测的步数，其中要预测的维数d满足1<=d<=m，由于我们的目的是预测单个通道的遥测值，因此我们考虑d=1的情况，并且我们令lp=1来限制每个步骤t的预测次数以减少处理时间。结果在每一步(t)会生成对实际遥测值进行预测的单变量y(t),在lp>1或d>1或两者皆有的情况下，高斯参数可以用于表示单个步骤t的预测值矩阵。

    在我们的遥测预测方案中，LSTM的输入x(t)由给定通道的先验遥测值和发送到航天器的编码命令信息组成，具体来说，将发出命令的模块与是否发送或接受命令的组合进行一次编码，并将其放入到每个步骤t中。（如图三）

3.2 Dynamic Error Thresholds

    自动监视成千上万个遥测通道，其预期值会根据换进因素和命令序列的变化而变化，因此需要一种快速的，通用的，且无监督的方法来确定预测值是否异常。**一种常见的方法是对过去的平滑误差进行高斯假设，因为这样可以在新误差和之前的误差的紧凑表示之间进行快速比较。**但是如我们在4.3节中所示，当违反参数假设时，这样的方法通常会带来问题。并且我们提出了一种无需进行此类假设即可有效的识别极端值的方法，基于距离的方法在这方面是类似的，但它们的计算开销一般都很大，例如将每个点与一组k个邻居相比较的方法。同样，这些方法也更通用，并且与在正常值范围内发生的异常有关。某种意义上，只有异常高或低的平滑误差才有意义，并且误差阈值在某种意义上是初始异常检测问题的简化版本。
Errors and Smoothing.
   一旦为每个步骤t生成了预测值y(t)，就将预测误差计算为e(t)=|y(t)-y’(t)|，其中y(t)=xi(t+1)，i对应于真实遥测数据的维数。每个e(t)都附加到一维误差向量上。e = [e(t−h), . . . , e(t−ls ), . . . , e(t−1), e(t )]
   其中h是用于评估当前异常的历史异常值。之后为了抑制基于LSTM的预测中经常发生的误差峰值（spikes in errors），我们会对误差集e做平滑处理，值的突然改变并不是一个完美的预测，并且会导致sharp spikes in errors，我们使用指数加权平均（EWMA）来生成平滑的误差。

   为了评估值是否为有代表性的值，我们为它们的平滑预测误差设置阈值，对于阈值以上的平滑误差应当被归类为异常。

Threshold Calculation and Anomaly Scoring.
   在这个阶段，我们通过使用带有标记的样本进行有监督的学习来学习适当的方法。但是通常情况下，并没有足够多的样本可以用，我们的场景中也是如此。因此，我们提出了一种无监督的方法，该方法可以以较低的开销获得更高的性能，并且无需使用标记样本或有关异常的假设统计。
   从集合中选择一个阈值ϵ：ϵ = μ(es ) + zσ(es )

   使用z∈Z来定义对值的评估，其中z是一组有序的正值，代表μ（es）的标准差偏差的数量。z的值取决于上下文，但是根据我们的实验结果，我们发现z取2到10的情况效果最好，z小于2会导致太多的误报。一旦却确定了argmax(ϵ)，就可以对所得的平滑无误差eseq∈Eseq的一场序列赋予一个一场分数，表明异常的严重性。

   简而言之，发现一个阈值，如果去除上述的所有值，将导致平滑误差es的均值和标准差的最大百分比降低。该函数还会因为有大量异常值（|ea|）和序列(|Eseq|)而受到惩罚，以防止过度贪婪行为。然后，根据每个异常序列与所选阈值的距离，对每个序列的最高平滑错误进行归一化评分。

3.3 Mitigating False Positives

Pruning Anomalies.
   基于预测的异常检测方法的精度在很大程度上取决于**用于设置阈值，以及对当前的误差做出判断的历史数据(h)**的数量。在数据量大的情况下，在实时场景中查询和处理历史数据开销很大。缺乏历史数据可能会导致误报，但是由于评估它们的上下文有限，只能将这些误报认为是异常。此外，当处理大量的数据时。

   为了减少误报并且限制内存和计算成本，我们引入一种剪枝的过程.
   选取异常序列中的最大值和正常序列中的最大值降序排列，组成序列emax
   对emax中的连续两个值，计算下式：

其中 i∈{1,2,…,(|Eseq|+1)}.
   若d(i)大于预设的比率p，则e(i-1)仍为正常值；若从某一个值开始，之后的d(i)均小于比率p，则这一系列的值都被重新划分为正常值。
   这种修剪有助于确保异常序列不是流中常规噪声的结果，并且可以通过阈值对异常值序列的最初识别来使用。将评估限制仅为一系列少数异常的最大误差比无需阈值而进行大量的value-to-value的比较更为有效。

Learning from History.
   一旦收集到少量的异常历史记录或者标记的数据，就可以采用第二种限制误报的策略：
   策略基于这样的假设：相似程度为s的异常哦通常不会在同一个通道内频繁发生，因此我们可以设置最小分数smin，以便在s<smin时将异常重新分类为正常，最小值仅应用于那些系统正在以高于特定的速率生成异常的数据通道，并且为所有此类通道分别设置smin。根据在精度和recall之间的平衡，可以使用先前异常的评分来设置适当的smin。
   另外，如果异常检测系统有一种机制，用户可以通过这个机制为异常提供标签，则这些标签也可以用于设置给定流的smin。例如，如果流或通道具有多个已经确认的假阳性异常，则可以在这些假阳性评分的上限附近设置smin。
   这两种方法都通过解决不常见但定期发生的正常航天器的行为，在提高系统的早期部署时提高精度方面发挥了重要作用。

4 EXPERIMENTS

   对于包括SMAP和MSL在内的许多航天器，目前的异常检测系统都难以评估。无法捕获警报的precision和recall，并且遥测系统通常时手动执行的。幸运的是，遥测异常的迹象可以在前面提到的ISA报告中找到,ISA中详细描述了所有事件和异常的子集都出现在特定的遥测通道中，并且通过挖掘ISA报告中关于SAMP和MSL，我们能够收集到一系列的遥测异常，这些异常能够对应到真实航天器中个各个子系统和通道类型。
   审查了在单个ISA中讨论的所有遥测通道，以确保异常在相关的遥测数据中显而易见，并且为每个通道手动标记了特定异常的时间范围，如果多个异常序列和通道彼此非常相似，则仅保留一个用于实验，以创建一个多样化且平衡的平台。
   我们将异常分为点异常和上下文异常两类以区分可能有正确设置的警报识别，或基于距离的方法忽略的短暂的信息（点异常）以及需要更复杂的方法来检测，比如LSTM或HTM来检测（上下文异常）。
   这个特征来自于前面提到的三个类别：点异常，上下文异常，集体异常。由于上下文异常和集体异常都需要上下文的时间序列且很难检测，因此它们都在下一届的介绍上下文类别的介绍中介绍。
   除了评估第三节中方法的性能外，我们还将比较两种方法的性能：
   1.使用我们的误差阈值的方法.Numenta异常基准测试中性能最高的算法中使用的无监督参数的方法。
   基于LSTM的方法与其他预测模型之间无法进行比较，因为基础预测性能的跨越式发展可能来自于为模型提供更加精细的基础公共特征。

4.1 Setup

   对于每个包含一个或多个异常序列的并且只要异常发生的时间在ta的唯一数据流，我们评估从ts=ta-3d到tf=ta+2d的周围时间范围内的所有遥测值，其中d为天，使用tstrian=ts-2d到tf=ts的值和命令的数据为每一个唯一的流训练模型。如果在这个时间范围内没有足够的数据，就去添加一些其他的时间。选择围绕异常的5天跨度是用来平衡两个目的：对精度更深的了解和更合理的计算开销。预测的异常区域也会略微扩展，以促进异常区域的紧密结合，扩展后重叠或接触的区域合并为一个区域，以解决多个异常区域代表单个事件的情况。
   根据以下规则，通过系统识别出的最终异常序列集来评估每一个遥测值，并且标记出所有的异常序列。
   1）一个记录如果满足以下规则，则记录为真阳性：

如果预测的异常序列的任何部分落在任何真实标记的序列内，则为true positive，即真实阳性。即使多个预测的序列的一部分落入一个标记的序列内，也仅记录一个真实阳性。
   2）如果没有预测的序列与阳性标记的序列重叠，则记录标记的序列为false negative。
   3）对于不与标记的异常区域重叠的所有预测序列，记录为false positive（误报）
   为简单期间，我们不根据检测到的异常的时间的早晚或检测出的false positive与标记的区域的距离远近来调整score。

Batch processing.
   遥测值汇集到一分钟的时间窗口中，并且评估一段70分钟的模拟SMAP的下行链路时间表和我们当前实施的系统，使用h=2100评估每个70分钟的batch，h是用来计算误差阈值和评估当前的batch的，这个系统还适用于以实时/流的方式处理值。

4.2 Model Parameters and Evaluation

   实验中的所有模型都使用相同的架构和参数
   每一个模型都不是很深，有两个隐藏层，每层有80个单元，我们发现该体系提供了足够的容量来很好的预测单个通道，没有必要增加容量，而且还会增加模型大小和演唱训练时间。所有通道没有必要需要总的容量，将来的改进包括根据通道的复杂性自动的选择适当的模型容量。同样，令序列长度ls=250可以提供性能与训练时间之间的平衡。SMAP和MSL输入的差异是由于每个任务都有不同的命令模块。同时使用early stopping来防止训练期间的过拟合，并且并非所有的模型都经过了完整的35次的迭代训练。
   一旦产生了预测的结果，就使用3.2节中描述的方法计算平滑误差，其中z={2.5，3.0，3.5，…，10.0},随后异常之间的最小差异百分比为p=0.13。p是控制precision和recall的重要参数。如果有可行的标签，可以推断出适当的p值。作者设置为0.05<p<0.20(图四)

Comparison with Parametric Thresholding.
   使用原始的LSTM预测误差，我们还是用与Numenta异常基准中最精确的模型配合使用的参数误差评估方法来生成异常，这种方法逐步的处理原始误差，在每一步t，一个历史误差的窗口W将会被建模为正态分布，并且在之后的每个步骤t更新均值与方差。我们将W的长度设置为lw=h=2100，并且对两种方法使用相同的一组预测误差，然后计算预测误差长度的短期均值，其平滑效果与3.2节中的EWMA平滑相似。然后使用尾部概率Q定义异常的可能性L：

   如果Ｌ>=1-ϵnorm将被归类为异常，在下一节中，我们将使用lshort=10和ϵnorm={0.01，0.0001}生成的结果与3.2节中的方法比较，并且测试了剪枝（3.3）对该方法的影响。

4.3 Results and Discussion

   如表2所示，使用基于LSTM的预测结合非参数阈值剪枝的方法，可以获得F0.5score的最佳结果。在预测方面，LSTM模型比预测测遥测值提前了一个时间步，平均归一化误差为5.9%。

   对参数进行调整，以平衡precision和recall为目的进行实验，但是在当前的部署中，调整参数时precision 的权重会非常高，因为相比起系统的实际实现，precision的表现过于乐观。实验中有一个隐含的假设，即异常每五天发生一次，其中五天是对包含异常的每个流的总处理天数。该实验还不包括在窗口期内未表现出的异常行为的所有流进行处理，这会进一步提高false positive的数量。通过使用3.3节末尾概述的方法设置最小的异常分数，可以抵消所实现系统中precision的降低。

Thresholding Comparisons.
   提出了不进行剪枝的无参数方法的结果，以证明剪枝在减少false positive中的重要性。修剪过程在某种意义上将类似于决策树的修剪，因为它有助于减少使用贪心的方法，贪心的方法通过过拟合来提高性能。在这种情况下，剪枝只会使整体的recall降低4.8%（84.8->80.0%），而将precision提高38.6%(48.9%->87.5%)，给定LSTM模型生成的预测，不剪枝的recall达到84.8%，接近于recall的上限。如果预测不佳，并且所产生的平滑误差不包含信号，则设置阈值的方法将会失效。
   使用各种设置参数的方法时，Gaussian tail的方法将会降低precision和recall，剪枝提高了精度，但是会有很高的recall代价，导致F0.5score仍远低于使用剪枝的无参数方法的得分，导致该方法性能降低的一个因素是因为在平滑误差的过程中违反了高斯假设。使用D’Agostino和Pearson’s的正态性检验，**我们使用α= 0.005的阈值来拒绝所有平滑误差集的正态零假设。**使用高斯参数时丢失的异常信息会使得阈值多次达到次优阈值，从而不利于precision和recall，并无法通过剪枝进行修正。（图4和表2）

Performance for Different Anomaly Types.
   由于大量的上下文异常（41%），使用LSTM和基于预测的方法比使用忽略短暂的信息更加合适。从理论上来将，只能使用基于限制或密度的方法来检测上下文异常的一小部分，即异常值遥测值落在低密度区域中。乐观的来看，可以在此处给出在最佳结果附近建立的最大可能的recall，并避免与这些方法进行广泛的比较。毫不奇怪，上下文异常的recall较低，但是基于LSTM的方法能够识别到其中的大多数。

Performance for Different Spacecraft.
   SMAP和MSL是非常不同的任务，这代表着异常检测难度的不同。与MSL相比，SMAP航天器的操作是常规操作，只需要较少的训练与数据就可以轻松的预测遥测结果。MSL的行为有许多种，并且有不同的规律性，其中一些行为是在漫游者的活动期间产生的，有限的训练数据中没有这些行为，这也解释了MSL，ISA较低的precision和recall的表现，并且在平均LSTM预测误差之间的差异也很明显，。
SMAP的预测误差为5.5%，MSL为6.8%。（表三）

5 DEPLOYMENT

   本文介绍的方法已经部署到SMAP操作工程师正在使用的系统中。随着数据从航天器下行链路中传出，近700个信道正在被实时监控，模型每三天进行一次使用带有early stopping的脱机训练。自2017年10月首次部署一俩，我们已经成功的识别出多个已经确认的异常情况。但是，目前主要导致false positive的主要的干扰来自以讹传讹审查流程的核心组成部分。着对运营工程师提出了很高的要求，他们对于修改有效的程序抱有怀疑。采用新技术和新系统意味着增加浪费时间和精力的风险，调查称用户不能接受一堆false positive，因此在每天处理百万集的遥测值时保持high precision至关重要。

FutureWork.
   试点部署和实验结果时建立大规模，自动化的遥测监控系统的关键步骤，未来的工作将主要围绕通过改进特征工程来改进遥测预测。
   在当前实现中，航天器命令信息仅在模块级别进行一次热编码，并且不会将有关命令本身性质的信息传递给模型。围绕命令活动以及事件记录等其他信息源的更多细粒度信息对于准确预测任务的遥测数据可能是必要的，而无需常规操作。 对于这些任务，必须自动识别和选择来自与计划活动相似的活动期间的训练数据，而不是简单地对近期活动进行训练。 准确的预测对于这种方法至关重要，它将使系统扩展到MSL等任务，同时也满足提高precision的需求。
   前面提到的两项改进代表了未来工作的关键领域，这些领域通常将有利于监测动态和复杂的航天器。 我们还计划继续完善我们的方法，以减少第3.3节中描述的false positives，并改善界面，以方便系统对异常的检查，调查和专家标记。
   最后，遥测通道固有的交互作用和依赖性是我们问题尚未解决的另一个关键方面。 通过视觉层面已部分解决了此问题，但是在数学上和自动的查看通道的异常之间的相关性将会提高对复杂系统行为和异常的重要性的看法。

6 CONCLUSION
   本文提出并定义了航天器运行中一项重要且不断增长的挑战，该挑战从现代异常检测方法中受益匪浅。
   我们展示了LSTM在预测航天器遥测的同时解决了许多异常检测场景中固有的涉及可解释性，规模，精度和复杂性的关键挑战的可行性。
   我们还提出了一种新颖的动态阈值处理方法，该方法不依赖稀有的标签或错误参数的假设。
   在我们寻求拓展能力并为各种航天器部署系统时，也确定了需要改进和进一步评估的关键领域。
   最后，我们公开了一组大型的现实场景，带有专家标记的标签和航天器的遥测数据集，并提供了本文介绍的方法的开源实现。