HA.222 [遥感时间序列插补] Transformer深度学习算法填补GRACE水资源卫星空缺序列

Wang, L., & Zhang, Y. (2024). Filling GRACE data gap using an innovative transformer-based deep learning approach. Remote Sensing of Environment, 315, 114465.

https://doi.org/10.1016/j.rse.2024.114465 

GRACE卫星;陆地水储量;深度学习;Transformer

本文提出了一种基于Transformer时间序列的深度学习模型，用于预测时间序列，从而填补GRACE数据的时间空缺。该方法引入了因果卷积的自注意力机制，能高效捕捉GRACE时间序列的局部特征。同时，模型集成了降水、气温和蒸散发等关键气候与水文特征，以增强预测能力。为提高模型效率，我们采用了稀疏策略，将注意力计算复杂度从 O(L2)降低到O(LlogL)，其中L代表时间序列长度，从而在处理大规模全球数据时表现出色。

图2. Transformer模型设计的总体架构，采用了几个创新策略：(a,b)水文气象特征卷积; (c)因果卷积注意力; (d)稀疏自注意力特征

通过使用全球范围内的几千个时间序列像素进行训练，该模型在验证集上的平均NSE为0.91，准确性较高。本文在流域时间序列维度对空缺填补结果进行了系统评估，与现有的时间序列和深度学习方法相比，该方法的表现总体更为优异。在湿润流域，模型很好地捕捉季节性周期变化。本文提出的Transformer时间序列模型进一步展现了对趋势变化的优秀捕捉能力，如密西西比河流域的上升趋势。在干旱流域，我们的模型具有更好的稳健性，尤其是在水量变化幅度较小的区域。

图3. 流域尺度缺失填补示意图，其中深红色点和线代表数填补

数据：

[1] Gou, J., & Soja, B. (2024). Global high-resolution total water storage anomalies from self-supervised data assimilation using deep learning algorithms. Nature Water, 2(2), 139–150. 

https://doi.org/10.1038/s44221-024-00194-w

[2] Mo, S., Zhong, Y., Forootan, E., Mehrnegar, N., Yin, X., Wu, J., Feng, W., & Shi, X. (2022). Bayesian convolutional neural networks for predicting the terrestrial water storage anomalies during GRACE and GRACE-FO gap. Journal of Hydrology, 604, 127244.

https://doi.org/10.1016/j.jhydrol.2021.127244

[3] Rodell, M., & Li, B. (2023). Changing intensity of hydroclimatic extreme events revealed by GRACE and GRACE-FO. Nature Water, 1(3), 241–248.

https://doi.org/10.1038/s44221-023-00040-5