LSTM部分

lstm的基本概念

在使用RNN处理一些时间序列时，在训练过程中常遇到的一个严重问题。梯度消失会导致模型无法学习到远距离的依赖关系，特别是在处理长序列数据时效果不佳，因此为了更好的对长时间序列进行更好的处理，LSTM出现了，LSTM（Long Short-Term Memory）是一种常用的递归神经网络（RNN）变体，专门设计用于处理和预测基于时间序列数据的长时间依赖性问题。由于时间序列数据中的模式往往具有长期依赖性，普通的RNN在处理长序列时容易出现梯度消失或梯度爆炸问题，而LSTM通过引入“记忆单元”和“门机制”有效解决了这一问题.

LSTM的公式

LSTM有三个关键的门控机制：

  • 遗忘门（Forget Gate）：决定应该丢弃哪些信息；

  • 输入门（Input Gate）：决定哪些信息应该存储到记忆单元中；

  • 输出门（Output Gate）：决定最终哪些信息作为输出。

LSTM与传统时间序列预测的区别

  • 线性与非线性处理：传统的时间序列预测方法，如ARIMA，依赖于时间序列的线性假设，适合处理平稳且线性的时间序列。而LSTM是一种非线性方法，它能够捕捉数据中的复杂非线性模式，这使得它在处理现实中复杂多变的时间序列（如PM2.5浓度预测）时更为有效。
  • 长期依赖关系：ARIMA等传统方法只能处理短期依赖关系，LSTM通过其记忆单元，能够处理较长的时间依赖关系。因此，LSTM在需要长时间依赖关系的时间序列预测中表现更好。
  • 自适应性：传统的时间序列方法需要进行大量的假设（如平稳性、白噪声等），而LSTM通过神经网络的训练可以自适应地学习时间序列中的特征，而不需要对数据进行过多的预处理。

paper部分 -Fine-Tuning of Predictive Models CNN-LSTM and CONV-LSTM for Nowcasting PM2.5 Level

关键算法说明

1. CNN-LSTM算法公式

在这篇论文中，研究者结合了CNN和LSTM两种模型来预测PM2.5浓度。CNN-LSTM模型结合了卷积神经网络（CNN）和长短期记忆网络（LSTM），通常包含以下几个步骤：

CNN部分

CNN部分用于从输入数据中提取局部特征。假设我们有一个输入序列 x，长度为 n ，CNN的卷积操作可以表示为：

LSTM部分

将CNN提取的特征 作为LSTM的输入。LSTM的更新公式如下：

2.CONV-LSTM算法公式

CONV-LSTM模型将卷积操作直接嵌入LSTM单元中，能够同时捕捉时间和空间的特征。CONV-LSTM的关键公式如下：

在CONV-LSTM中，输入、遗忘和输出门的计算都使用卷积操作：

记忆单元的更新同样采用卷积运算：

研究目的：

这篇论文的主要目的是利用深度学习中的CNN-LSTM和CONV-LSTM模型对雅加达Kemayoran地区PM2.5浓度进行预测.(其中CONV-LSTM是CNN-LSTM的改进版本，在lstm中引入卷积计算，两种方法思路基本一致)研究希望通过这两种模型的比较，找到最适合的模型来进行短期（24小时内）的空气质量预报，以减少PM2.5污染对公众健康的影响。在这篇论文中，使用了lstm作为时间序列预测的方法。

数据：

使用的数据来自印尼中央气象、气候和地球物理局（BMKG），包含从2022年5月21日到2022年6月21日Kemayoran地区的PM2.5浓度的每小时观测值，总共收集了1488条数据。由于数据中存在异常值（如设备维护不当导致的错误），研究通过样条插值法处理缺失数据，并对数据进行z-score标准化，以保持数据平衡.

方法：

论文使用了CNN-LSTM和CONV-LSTM两种混合模型来预测PM2.5浓度。CNN-LSTM模型首先利用CNN提取时间序列数据的特征，然后将这些特征作为LSTM的输入，LSTM则用于捕捉时间序列的短期和长期依赖关系。相比之下，CONV-LSTM将卷积操作与LSTM相结合，在LSTM单元内执行卷积运算，从而同时处理时空相关性。

结论：

2. CNN-LSTM模型的预测效果：

CNN-LSTM模型的测试效果总结如下：

  • 训练集的最佳分割比（90:10）下，CNN-LSTM模型的MAE为4.94，RMSE为6.83，MAPE为23.91%。
  • 验证集中，MAPE的最佳值为17.86%。
  • 测试集中，MAE为7.35，RMSE为9.32，MAPE为17.92%。

可以看出，在测试集中，CNN-LSTM的MAPE为17.92%，这表明预测结果的误差百分比在实际值的17.92%左右。根据论文的标准，MAPE值小于20%可以认为模型的预测效果是“足够好”的。因此，CNN-LSTM模型在PM2.5预测中表现较好。

3. CONV-LSTM模型的预测效果：

CONV-LSTM模型的表现相对CNN-LSTM更为优秀：

  • 训练集中，CONV-LSTM在90:10的分割比下，MAE为4.70，RMSE为6.50，MAPE为23.17%。
  • 验证集中，MAPE的最佳值为18.18%。
  • 测试集的MAE为6.52，RMSE为8.55，MAPE为16.39%。

与CNN-LSTM模型相比，CONV-LSTM的各项指标都要优越一些。在测试集上的MAPE为16.39%，比CNN-LSTM的17.92%更低。这意味着CONV-LSTM的误差比例相对更小，预测的准确性更高。

通过模型评估，CONV-LSTM模型的预测精度优于CNN-LSTM。CONV-LSTM的MAE（平均绝对误差）为6.52，RMSE（均方根误差）为8.55，MAPE（平均绝对百分比误差）为16.39%，显示了其在处理PM2.5预测时的更高性能。研究表明，这一混合模型能够为实时空气质量监测提供更准确的预测结果。