基于多时空尺度的LSTM模型
关注人工智能学术前沿 回复 ：ts33
5秒免费获取论文pdf文档，及项目源码
摘要
本文提出了一种新的用于环境数据时间序列预测的时空LSTM (SPATIAL)结构。该框架通过多个传感器和三个不同的海洋变量进行了评估:当前速度、温度和溶解氧。网络的实施在两个方向进行，名义上是分离的，但作为自然环境系统的一部分，跨越空间(在单个传感器之间)和传感器数据的时间组件。来自4个采样电流速度的传感器和8个同时测量温度和溶解氧的传感器的数据评估了框架。我们的模型与RF和XGB基线模型比较，后者通过滑动窗口矩阵提取日期-时间特征和过去的数据历史，独立学习每个传感器的时间信号。结果表明，我们的系统能够准确复制复杂信号，并提供与最先进的基准测试相当的性能。值得注意的是，这个新的框架提供了一个更简单的预处理和训练管道，通过一个简单的掩蔽层来处理缺失的值。本文讨论了ML应用于环境科学的两个基本挑战:
1)数据稀疏性和环境条件(如海洋动力学)测量数据收集的挑战和成本
2)环境数据集在空间和时间方向上具有内在的联系，而经典的ML方法只考虑其中一个方向。
此外，跨所有输入步骤共享参数使SPATIAL成为一个快速、可扩展和易于参数化的预测框架
1.模型概述
SPATIAL是第一次尝试在时间序列信号的空间和时间方向上使用双向LSTM模型。更具体地说，根据地理上的接近或领域的专业知识，我们知道，我们希望预测的信号(洋流、温度和溶解氧)有一些依赖于邻近的信号。我们实现了一个跨相关传感器空间方向的双向LSTM模型，并训练该模型学习空间和时间结构。图1提供了SPATIAL的概述
图1:SPATIAL允许多维输入，这使得深度神经网络能够从不同的传感器中提取特征，并利用学习到的信息预测每个传感器的时间序列。也就是说，对于每个传感器来说，预测不仅基于它之前的时间序列，还基于来自其他传感器的信息。
关注人工智能学术前沿 回复 ：ts33
5秒免费获取论文pdf文档，及项目源码
2.实验概述
基线模型
为了评估SPATIAL相对于现有方法的相对性能，我们引入了基于AutoML (Drori et al. 2018)技术的两个最优基线模型:
IBM AutoAI (IBM 2020):一项旨在实现端到端人工智能生命周期自动化的技术，从数据清理、算法选择，到ML工作流中的模型部署和监控(Wang et al. 2020)。
AutoMLPipeline (AMLP) (Palmes 2020):提供半自动化ML模型生成和预测的工具箱。
数据集
在本研究中，SPATIAL应用于以下数据集:沿挪威海岸采集的洋流速度或速度、海洋温度和溶解氧，这些数据来自于加拿大大西洋水产养殖场的高密度传感器网络。
声学多普勒电流剖面仪(ADCP)是用来测量一个深度范围内的水流速度，利用声波从水柱内粒子散射回来的多普勒效应。四个adcp部署在挪威海岸的各个地点。该传感器在一年内(2018年1月1日至12月31日)以垂直分辨率或5 - 15米区间收集每隔1分钟的测量数据。
从2018年8月16日至12月21日，在相对较小的地理范围内收集了4个月的DO和Temp数据，其特征是显著的动态和水产养殖业活动。 Burke等人(2020年)提供了关于数据收集和用于指导水产养殖操作的应用的更多细节。
图3:三个数据集的时间序列图。上图为四个地点的海流速度测量值(见表XXX)，而中图和底图分别为八个地点的溶解氧和温度观测值。
实验结果
表3:在所有三个数据集上进行五折交叉验证的MAE和报告的MAE的标准偏差。
图4:SPATIAL性能对比两个基准模型:一个是由AutoAI配置和部署的XGBoost模型(红线)，另一个是使用AMLP管道生成的Random Forest模型(蓝线)。黑线表示观察结果。上面一行比较每个模型与观测值，而下面一行则是观测值和预测值之间的残差图。每个模型预测24小时的提前预报，跨越30分钟(每30分钟产生一次新的预报)。数据为ADCP(左列)，溶解氧(中列)和温度(右列)。
结论
提出了一种基于双向LSTM的时间序列信号扩展学习的DL框架。由此产生的模型提供了一个可伸缩的预测系统，可以根据时空模式自然调整。模型训练的成本降低了一个数量级，因为我们为每个数据集而不是每个信号训练一个单一的模型。通过一个简单的掩蔽层，SPATIAL可以自然地对缺失数据进行调整，并且可以利用缺失数据在传感器之间的随机分布来减少数据缺口对学习的影响(即，由于传感器通常在不同时间显示数据缺口，将来自多个传感器的信息结合在一个框架中可以提高对噪声和容易出错数据的学习)。最后，将时间序列应用的lstm类型方法的循环结构扩展到时空方向，有可能转化为许多不同的行业应用，如天气、交通和流行病学。
ML方法在预测水质的海洋条件(如氧气)方面非常有用，特别是因为它吸收了来自传感器网络或遥感等来源的实时强迫变量，如温度。随着水下自动航行器等仪器提供更多的大数据层，这种方法可以扩展到3D和4D地理空间数据，以绘制近岸氧气或其他变量的动力学。这些预测对于包括水产养殖、渔业和污染排放在内的沿海资源的管理决策至关重要。