社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

IEEE TGRS | 机器学习迭代建模方法估算复杂地形区域全天空地表下行短波辐射

气象学家 • 1 年前 • 240 次点击  

  第一时间获取气象科研资讯

气象学家公众号交流群

加入


近日,长江中游城市群气象生态环境遥感团队博士生郎芹等撰写的论文“An Iterative Method Initialized by ERA5 Reanalysis Data for All-sky Downward Surface Shortwave Radiation Estimation over Complex Terrain with MODIS Observations”发表在IEEE Transactions on Geoscience and Remote Sensing期刊,本工作得到国家自然科学基金(41830648和42071349)等资助。

准确估算地表下行短波辐射(DSSR)对于生态、水文过程等研究具有重要意义,而卫星遥感观测是估算DSSR的一种重要工具。然而,目前的遥感估算方法通常依赖于较多大气参数或站点观测,这一定程度上限制了这些方法的应用。本研究结合ERA5 DSSR和MODIS大气表观反射率数据,提出了一种基于机器学习的迭代建模方法。首先,使用 ERA5 DSSR数据驱动一个初始估算模型,然后结合已有模型估算得到的高空间分辨率DSSR 迭代构建新的经验模型。当模型表现稳定时,终止迭代建模过程,从而得到最终的估算模型。将本研究估算结果与MCD18A1 DSSR、Himawari-8 DSSR和ERA5 DSSR 产品进行了对比,结果表明精度由高到低排序为:本研究估算的 DSSR、Himawari-8 DSSR、ERA5 DSSR、MCD18A1 DSSR。以上结果表明:本研究提出的多源数据驱动的机器学习方法不但简单高效、适用范围广,而且其估算的 DSSR 精度优于主流的一些DSSR 产品。



1

研究区和数据

研究区为中国西南地区部分区域(如图1),该区域地形复杂、多云雾天气。用到的数据源包括:(1)MODIS大气表观反射率产品及对应的云掩膜产品;(2)高程数据SRTM;(3)DSSR数据:9个站点的DSSR观测值、ERA5 DSSR、MCD18A1 DSSR和Himawari-8 DSSR。

图1. 研究区和验证站点分布图


2

方法和结果

2.1 方法

使用随机森林回归算法(RFR)构建估算模型,用到的特征变量包括:MODIS大气表观反射率、太阳天顶角(SZA)、卫星天顶角(VZA)、纬度、高程(DEM)和日地距离系数(Dr)。模型估算主要包括两个步骤:

第一步:初始化估算模型

为了匹配逐时的ERA5数据和瞬时MODIS数据,采用三次样条插值法对与MODIS过境时刻邻近的6个小时的ERA5数据进行插值。然后,采用均值聚合的方法将MODIS TOA反射率等自变量聚合到ERA5的空间尺度(0.25°)。最后,基于RFR算法,构建空间聚合后的自变量和ERA5 DSSR之间的关系模型。

第二步:通过迭代修正模型

在0.25°空间尺度构建的初始模型能大致反映特征变量和DSSR间的非线性关系。然而,由于初始模型是在粗空间分辨率尺度上构建的,无法刻画DSSR和相关变量的细节特征。因此,直接用该模型估算得到的0.01°空间分辨率的DSSR会引入一定的不确定性。为了优化该模型,本研究在0.01°空间尺度上将初始模型估算的DSSR用于训练新的估算模型,然后用该模型的DSSR估算结果再训练新的估算模型。当测试集RMSE的减少量(即图2中的∆RMSE)小于1W m-2时,停止迭代建模的过程,从而得到最终的估算模型及对应的DSSR估算结果。


图2. DSSR估算的迭代建模框架


2.2 结果

模型敏感性分析结果(图3)表明:与地外太阳辐射相关的Dr、SZA、VZA和纬度在晴空模型中的贡献大于阴天模型。在最终模型(Final)中,这四个因素在晴空模型中占86.34%,而在阴天模型中仅占38.75%。大气表观反射率数据携带较多的大气路径信息,在阴天模型中占主导地位。在这些MODIS波段中,B18和B19在晴空模型中有影响,而B1和B3在阴天模型中占主导地位。初始(Init)模型和Final模型之间的差异主要源于空间尺度的改进。此外,不断迭代的训练过程有助于模型达到更稳定的状态。


图3. 晴空模型(a)和阴天模型(b)中输入变量的特征重要性


参照MODIS真彩色影像的空间分布发现:Init模型和Final模型估算DSSR都比较合理(图4)。从局部框选的区域来看,迭代过程有助于将DSSR估算结果中不合理的部分调整为更合理的分布。


图4. Init和Final模型的DSSR分布及对应的MODIS真彩色影像


从模型测试集精度来看(图5),在前两轮训练中模型精度改善显著,后面几轮的改善程度趋于平缓。

图5. 基于测试集计算的估算模型的RMSE和CC


为了更好地评估研究估算的DSSR结果,引入了几种主流DSSR产品(ERA5、Himawari-8和MCD18A1)做交叉对比。从空间分布来看,本研究估算得到的DSSR空间分布和其它卫星DSSR产品总体接近。MCD18A1产品也是以MODIS大气表观反射率为主要数据源估算得到的产品,采用的方法是查找表法。对比图6(l)和(p),MCD18A1 DSSR在晴空区域存在格网噪声,而本研究估算的DSSR分布更为合理。从站点验证精度来看(图7),本研究估算DSSR精度最高。


图6. 不同DSSR数据空间分布


图7. 站点观测DSSR值和DSSR估计值的散点图:(a)ERA5、(b)Himawari-8、(c)MCD18A1和(d)本研究估算结果。


3

结论

本研究提出的方法通过机器学习迭代建模有效地结合了再分析资料和卫星观测数据的优点,无需复杂的辐射传输模型模拟过程、大量大气变量和站点观测数据。站点验证精度表明该方法估算DSSR优于部分主流产品的精度(CC,MBE,RMSE和rRMSE 为0.90,37.80 W m-2,125.30 W m-2和42.73%)。



CITATION

Qin Lang, Wei Zhao, Wenping Yu, Mingguo Ma, Yao Xiao, Yajun Huang, Lunche Wang. 2023. An iterative method initialized by ERA5 reanalysis data for all-sky downward surface shortwave radiation estimation over complex terrain with MODIS observations. IEEE Transactions on Geoscience and Remote Sensing, vol. 61, pp. 1-15, 2023, Art no. 4106315, doi: 10.1109/TGRS.2023.3323033.


撰稿 | 郎芹

排版 | 何晨曦

审阅 | 王伦澈

来源 | 长江中游城市群气象生态环境遥感







声明:欢迎转载、转发本号原创内容,可留言区留言或者后台联系小编(微信:gavin7675)进行授权。气象学家公众号转载信息旨在传播交流,其内容由作者负责,不代表本号观点。文中部分图片来源于网络,如涉及作品内容、版权和其他问题,请后台联系小编处理。


往期推荐

 获取ERA5-Land陆面高分辨率再分析数据(32TB)

 1942-2022年中国地面气象站观测数据免费分享

 获取全球GPM降水数据,半小时/逐日(4TB)

 获取1998-2019 TRMM 3B42逐日降水数据

★ 获取最新版本CMIP6降尺度数据集30TB

★ 获取ERA5常用变量再分析数据26TB

 EC数据商店推出Python在线处理工具箱

★ EC打造实用气象Python工具Metview

★ 机器学习简介及在短临天气预警中的应用

★ Nature-地球系统科学领域的深度学习及理解

★ 采用神经网络与深度学习来预报降水、温度

★ 灵魂拷问:ChatGPT对气象人的饭碗是福是祸?

★ 气象局是做啥的?气象局的薪水多少?

★ 一位气象学家尝试ChatGPT复现Nature子刊的研究,他真的会面临失业吗?!



Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/164493
 
240 次点击