因果结构深度学习在土壤水分预测中的应用

引用方式：Li, L., Dai, Y., Shangguan, W., Wei, Z., Wei, N., & Li, Q. (2022). Causality-Structured Deep Learning for Soil Moisture Predictions. Journal of Hydrometeorology, 23(8), 1315-1331.

摘要：准确预测地表土壤湿度对理解水文过程至关重要。深度学习模型如长短期记忆模型（LSTM）为此提供了有力方法并广泛应用于土壤湿度预测，但由于缺乏因果关系等先验知识，成功案例较少。本文提出一种基于因果结构的 LSTM 模型（CLSTM），能学习水文气象应用中的时间相互依赖和因果信息。通过在全球 64 个 FLUXNET 站点应用和比较 LSTM 与 CLSTM 方法预测土壤湿度，结果显示 CLSTM 显著提升了预测性能，Nash-Sutcliffe 效率表明超 67% 站点的土壤湿度模拟改进超 10%。CLSTM 具有更强的泛化能力，能适应极端土壤条件，如干旱和降水事件中的土壤湿度响应。结合因果关系，CLSTM 在不同预测时长上比 LSTM 表现更好，且突出了因果结构形式的物理信息在干旱预测中的关键作用，同时有望改进其他水文气象变量的预测。

研究背景：地表土壤湿度控制着陆地表面与大气间的能量和水分交换，对气象预报、全球气候变化趋势识别、农业干旱监测等诸多环境研究领域意义重大，准确预测土壤湿度对干旱监测和灌溉规划等应用十分重要。目前常用的预测模型有基于过程（PB）和机器学习（ML）两类，PB 模型基于物理过程预测但存在局限性，如计算土壤湿度的 Richards 方程非线性强、土壤性质和参数空间异质性强、数据准确性待提高以及其他物理过程表征不足等；ML 模型直接构建输入特征与土壤湿度关系，避免复杂物理过程描述，其中深度学习模型（DL）处理大数据能力强，LSTM 作为有效的循环神经网络模型在土壤湿度预测中广泛应用，但纯 DL 模型存在泛化能力差等缺点，部分原因是缺乏物理定律、过程和因果关系等先验知识，已有研究通过引入物理定律或挖掘因果关系改进，但多集中于因果驱动因素选择而非模型内部网络结构调整。

研究意义：本研究提出基于 LSTM 和格兰杰因果关系（GC）利用因果关系改进水文气象预测的新方法，生成因果结构并提出 CLSTM 模型，首次尝试将因果结构深度学习模型用于全球土壤湿度预测，为土壤湿度预测提供更准确方法，验证 CLSTM 在不同方面对比 LSTM 的改进，探讨 CLSTM 在不同时间尺度预测的适用性和有效性，以及物理约束先验知识对模型性能的影响。

资料与方法

1. 数据：使用 FLUXNET2015 的日数据集，经质量控制程序确保数据可靠，包括标记异常数据和观测不足数据为缺失值、排除数据长度不足 3 年及缺失数据超 10% 的站点，最终保留 64 个站点。这些站点全球分布，主要位于北美、欧洲和澳大利亚，涵盖多种植物功能类型，平均时间覆盖约 8 年，数据包括地表土壤湿度观测值及多种用于预测的变量，如气象、能量和地表变量，模型训练前对输入特征数据集进行线性插值和归一化处理。

2. 模型

• 生成因果结构：基于输入特征通过线性和非线性相关及 GC 测试生成因果结构。先生成输入特征的简单邻接矩阵，计算 Pearson 相关系数（PCC），若大于 0.7 且通过显著性检验则变量有显著相关性，再对显著相关变量进行线性和非线性 GC 测试，通过测试则有显著因果关系，据此构建邻接矩阵并转换为因果结构，为避免过拟合将因果结构深度设为三级，若无显著因果关系则设相关性最强变量为土壤湿度因果驱动因素。

• 因果结构长短期记忆模型（CLSTM）：CLSTM 内部结构中每个节点引入因果状态约束 LSTM 的隐藏状态，学习因果结构中每个节点的时间相互依赖和因果信息，预测时将叶节点（土壤湿度）的因果状态应用于全连接层，通过一系列公式计算隐藏和细胞状态及因果状态，根节点因果状态等于隐藏状态，模型训练时将数据按比例分为训练、验证和测试集，调参时为 LSTM 和 CLSTM 设置相同结构和超参数，采用 Adam 梯度下降法进行反向传播，损失函数设为均方误差，性能评估使用 Nash-Sutcliffe 效率（NSE）、均方根误差（RMSE）和土壤湿度亏缺指数（SWDI），并定义相对改进指标（RIM）评估模型性能。

研究结果

1. 纯 DL 模型和因果结构 DL 模型的总体性能：CLSTM 在测试期间的预测性能优于 LSTM，NSE 中位数从 0.34 提升到 0.52，RMSE 中位数从 3.98% 降至 3.47%，在不同统计指标上表现更好，稳定性更高，在全球多数站点（尤其是欧洲和美国中东部）表现出色，但在澳大利亚、加拿大等地表现较差，原因与土壤湿度时间自相关（TAC）和训练数据量有关，在不同土壤记忆条件下，CLSTM 能显著提升 NSE 和归一化 RMSE（NRMSE），尤其在 TAC 较低区域。

2. 纯 DL 模型和因果结构 DL 模型的泛化能力：泛化能力定义为训练集和测试集损失差异，CLSTM 的训练集和测试集损失差距比 LSTM 小，表明其泛化能力更强，且在数据稀疏区域也能提供显著改进。

3. 纯 DL 模型和因果结构 DL 模型对极端事件的预测能力

• 降水事件响应预测：在降水最大的五个站点，CLSTM 在湿润期能更好预测土壤湿度对极端降水的响应，干旱期土壤湿度变化稳定，LSTM 则易受数据集中 “噪声” 影响，出现不合理波动，CLSTM 通过因果结构筛选变量减少噪声影响，更准确预测土壤湿度。

• 干旱事件预测：在干旱最严重的五个站点，LSTM 常高估干旱期土壤湿度，低估干旱严重程度和持续时间，CLSTM 预测更准确且波动更小，更有利于长期干旱事件预测。

• 不同实验设置的影响：计算因果状态时先分别生成权重再整合状态的方法能略微提升性能且时间成本相近；输入特征长度增加会因信息复杂和无用信息多导致模型性能下降；因果结构参数方面，复杂结构可能因过拟合导致性能变差。

• 所选变量的物理意义：土壤湿度预测的主要因果驱动因素包括气温、土壤温度、二氧化碳、长波辐射和潜热通量等，它们通过影响土壤水分通量、蒸发、植物用水和能量供应等方式影响土壤湿度，降水因发生天数少和站点植被拦截在与土壤湿度相关性上不明显。

• CLSTM 与 SM2RAIN 方法耦合的潜在益处：CLSTM 可与利用土壤湿度推断降雨量的 SM2RAIN 方法耦合，有望实现更好的降雨量估计，因为 CLSTM 能准确预测土壤湿度，从而为 SM2RAIN 提供更准确输入。

• CLSTM 的优势、局限性和未来方向：CLSTM 优势包括继承 LSTM 考虑土壤湿度长短期依赖的能力、调参避免过拟合、模型结构改进（增加参数和去除冗余信息），但存在局限性，如实验设置无法获取未来特征信息限制性能，训练时间长，未来可采用更准确因果发现算法、处理多时间尺度因果关系、探索其他水文气象变量和空间尺度。

研究结论：本研究开发了 CLSTM 模型预测土壤湿度，包括因果结构推导和基于此的预测模型两部分。模型在 64 个 FLUXNET 站点训练和评估，CLSTM 在三方面改进显著，总体性能上多个指标改善，多数站点表现优秀；泛化能力大幅提升，能适应不同土壤条件；在预测干旱事件和土壤湿度对降水响应方面表现更好，且在 1 - 15 天预测中适用，强调了物理约束先验知识对极端干旱事件预测的重要作用。研究通过先为每个状态生成权重的方法解决梯度消失问题，证实了因果结构对 LSTM 的改进作用，有助于提高土壤湿度预测性能和稳定性。

图5 各站点7天LSTM(实线)和CLSTM(虚线)训练和测试数据集的损失值。LSTM的训练损失曲线和测试损失曲线分别用浅粉色线和深粉色线表示，CLSTM的训练损失曲线和测试损失曲线分别用浅蓝色线和深蓝色线表示。