社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

哈尔滨工业大学(深圳)路璐团队ACS ES&T Engg.:基于注意力机制的深度学习算法助力市政污泥精准管理

环境人Environmentor • 6 天前 • 11 次点击  

英文原题:Prediction of Waste Sludge Production in Municipal Wastewater Treatment Plants by Deep-Learning Algorithms with Antioverfitting Strategies

通讯作者:路璐,哈尔滨工业大学(深圳)

作者:Juanjuan Chen, Weixiang Chao, Yixuan Wang, Nanqi Ren, and Lu Lu




近日,哈尔滨工业大学(深圳)路璐教授团队在ACS ES&T Engineering发表研究,提出基于深度学习的废弃污泥产量预测方法。通过抗过拟合与注意力机制,模型在多厂数据集上显著提升了预测精度与适应性,为市政污泥管理提供了新思路。


随着中国市政污水排放量的持续攀升,废弃污泥的产生量也呈快速增长趋势。2023年,中国市政污水排放量高达约781亿立方米,产生了约1740万吨市政废弃污泥。尽管污水处理能力有所提升,但仍有大量废弃污泥未能得到有效处理(图1)。这一问题的根源在于现有污泥产量预测方法的局限性,导致污水处理部门难以精准规划设施容量与资源配置。传统统计方法(如回归分析)依赖历史数据建立污泥产量与污水处理参数(如流量、污染物浓度、温度和微生物活性)之间的关系。然而,这些模型往往无法捕捉污水处理过程中复杂的非线性动态。例如,无机杂质的引入和污水参数的意外波动会给生物处理过程带来显著不确定性,使得污泥产量并不总是遵循活性污泥模型。这些挑战凸显了传统方法在处理污泥产量复杂性方面的局限性,亟需开发新型预测策略。


图1. 中国市政污泥产量与处理能力的供需差距分析


为了解决上述问题,哈尔滨工业大学(深圳)路璐教授团队提出了一种基于深度学习的废弃污泥产量预测方法。该方法通过引入抗过拟合策略与注意力机制,显著提升了模型在不同污水处理厂数据集上的预测精度和适应性,为废弃污泥管理提供了全新视角。


研究团队开发了多种深度学习模型,包括双向长短期记忆网络(BiLSTM)、双向门控循环单元(BiGRU)与注意力机制结合、Transformer架构以及BiLSTM与卷积神经网络(CNN)结合的混合模型(图2)。基于北京某市政污水处理厂的数据集训练结果表明,Transformer和BiLSTM+CNN模型在训练与验证阶段展现出优异的预测性能,均方误差(MSE)低至0.014−0.027(图3),相关系数达0.53−0.72(图4)。进一步在广州两个污水处理厂(不同水质与规模)的测试中,预测误差控制在3.15 ± 1.81%至3.78 ± 1.75%,验证了模型的高适应性。相比之下,传统机器学习方法(如随机森林、XGBoost和支持向量回归)即使引入抗过拟合策略,预测误差仍高达30−65%,MSE为0.026−0.14,相关系数仅为0.25−0.48。研究表明,深度学习模型在预测精度与泛化能力方面具有显著优势,为市政污泥管理提供了数据驱动的创新方案。


图2. 基于深度学习算法的污泥产量预测框架


图3. 深度学习模型训练过程中损失函数的动态变化


图4. 深度学习模型验证数据集的相关性分析


研究团队通过Shapley加性解释(SHAP)分析进一步发现,温度波动是影响污泥产量预测的核心因素(图5)。输入特征贡献分析表明,几乎所有深度学习模型均检测到进水与出水温度对污泥产量预测具有显著影响(SHAP值范围为2.5−9.0)。相比之下,水质指标及生物处理阶段水温的影响较弱。此外,移除关键输入特征(如进水最小温度)后,Transformer模型的预测误差从3.15%显著上升至10%−12%,其他模型误差增幅达15%−50%。而移除非关键特征(如生物处理阶段水温)则对预测误差的影响较小。这表明,温度相关特征在污泥产量预测中具有核心作用,为优化市政污泥管理提供了数据驱动的决策依据。


图5. 输入特征对污泥产量预测的贡献度分析


通过引入抗过拟合策略与注意力机制,并优化训练数据集质量,研究团队显著提升了深度学习算法在不同污水处理厂数据集上的可迁移性与泛化能力。研究采用逐层神经元dropout、残差网络连接、批量归一化、岭回归正则化、学习率衰减及交叉验证等技术,协同增强模型泛化性能。结果表明,优化后的模型在实际数据集上的预测性能显著提升。此外,注意力机制的引入使模型能够动态聚焦关键时间序列特征,显著增强预测精度与鲁棒性。例如,BiGRU+Attention模型通过为关键特征(如异常值和转折点)分配更高权重,提升了预测准确性与稳定性。Transformer模型则利用多头注意力机制多角度捕捉特征关系,进一步强化了对复杂时间序列数据的处理能力。在跨地域测试中,优化后的深度学习算法在北京污水处理厂训练数据集上表现出色,并成功应用于广州两个污水处理厂。尽管两地在处理规模、进水条件及气候地理因素上存在显著差异,模型仍实现了年预测误差低于10%的高精度污泥产量预测(图6)。这一结果充分证明了深度学习算法在市政污水处理领域的应用潜力,为污水处理厂的精细化管理提供了创新性支持工具。


图6. 预训练深度学习模型在实际数据集上的预测精度评估


本研究成功开发并优化了多种深度学习模型,用于市政污水处理厂废弃污泥产量预测。通过引入抗过拟合策略与基于注意力的架构,模型在不同数据集上展现出高预测精度与强大的泛化能力。研究指出,进水温度及其波动等关键参数对污泥产量具有显著影响,并强调了高质量多源数据在提高模型适应性中的重要性。


最后,作者指出未来研究可结合实时环境监测数据,进一步完善模型性能。本研究为基于关键环境与操作参数的深度学习预测提供了重要参考,对改善污泥管理具有重要意义。随着深度学习技术的持续发展和数据质量的提升,这些模型有望在实际污水处理应用中发挥更大作用,为实现高效、可持续的污水处理提供创新支持。


相关论文发表在ACS ES&T Engineering上,哈尔滨工业大学(深圳)生态环境学院博士研究生晁伟翔与北京市政工程设计研究总院广东分院副总工程师陈娟娟为文章的共同第一作者,路璐教授为通讯作者。


第一作者信息:

晁伟翔 博士


晁伟翔,哈尔滨工业大学(深圳)生态环境学院博士研究生。研究方向为新型污水资源化技术开发与环境系统工程评价,发表SCI论文十余篇,累计引用800余次,申请/授权国家发明专利/国际PCT专利11件,国家级/省级创新创业竞赛获奖4项。

陈娟娟 博士


陈娟娟,北京市政工程设计研究总院广东分院副总工程师,哈尔滨工业大学(深圳)生态环境学院工程博士。致力于污水处理系统低碳化与智慧化转型,广东省环境科学学会副理事长单位代表、广州市海绵城市建设专家库专家、广州市水利学会副理事长,广州市标准专家库专家,参与国家“水十条”实施终期评估、广州市“十四五”水务工程规划与实施等工作。


通讯作者信息:

路璐 教授


路璐教授,哈尔滨工业大学(深圳)教授/博导,副院长,国家级青年人才。全球前2%顶尖科学家(环境科学/环境工程领域)。主要研究方向为:碳中和污水处理与资源化,水-能源-碳系统关联,环境微生物学。获黑龙江省自然科学一等奖、环境保护科学技术一等奖、美国华裔环境工程与科学教授协会最佳论文奖、中国教育部学术新人奖等。以第一作者或通讯作者在Nature Sustainability、Joule、Energy & Environmental Science、Environmental Science & Technology、Water Research等国际期刊发表学术论文90余篇,多篇入选ESI 1%高引用论文。著作1部,授权中美发明专利15件。


图片

来源 ACS美国化学会。投稿、合作、转载、进群,请添加小编微信Environmentor2020!环境人Environmentor是环境领最大的学术公号,拥有20W+活跃读者。由于微信修改了推送规则,请大家将环境人Environmentor加为星标,或每次看完后点击页面下端的“在看”,这样可以第一时间收到我们每日的推文!环境人Environmentor现有综合群、期刊投稿群、基金申请群、留学申请群、各研究领域群等共20余个,欢迎大家加小编微信Environmentor2020,我们会尽快拉您进入对应的群

图片

往期推荐

年度热点文章Top10(2024年)
中科大俞汉青院士、陈洁洁教授、华中科大黄明杰Nat. Commun.:精准定制高价金属氧化物的d带中心实现污染物完全聚合去除
香港城市大学袁志国院士、新南威尔士大学郑敏Nature Sustainability综述:污水资源化前沿路径
Nature:全球塑料垃圾中的“潜行者”
中国科学院生态环境研究中心俞文正课题组Nature Water:三价金属混凝去除天然有机物的分子尺度理论
清华大学曲久辉院士团队刘锐平、中国科学技术大学陈洁洁Angew:纳米-生物杂合体界面间电子定向转移实现硝酸盐选择性转化
浙江大学环境纳米技术研究团队Nature Water:晶格工程实现纳米零价铁的高效选择性还原反应
山大刘建、港理工金灵等ES&T封面:联合提出“微塑料组”呼吁以整体视角研究微塑料以捕获其在真实世界中的生态与健康影响
哈工大(深圳)任南琪院士团队陈以頔、阿德莱德大学段晓光ES&T补充封面:聚焦微污染物聚合转化研究
大连理工陈景文团队、哈工大姜杰团队、宾大Joseph S. Francisco教授JACS:全多氟烷基化合物在微液滴表面自发降解
ESE专栏 | 《中国碳中和与清洁空气协同路径年度报告》工作组:2022年中国碳中和与清洁空气协同路径报告——提速重点部门转型
学术招聘
美国范德堡大学环境工程研究生项目招生 (博士硕士)
加州大学河滨分校化学与环境工程系门玉洁课题组招收博士生(或博士后)
香港城市大学能源与环境学院Dr. Sam H. Y. HSU课题组招聘博士
美国圣母大学环境分子与合成生物学实验室拟招收2名全奖博士生
瑞典斯德哥尔摩大学和瑞士Eawag联合招聘全奖博士生(环境方向)
北京大学环境科学与工程学院赵华章教授团队招聘博士
学术资讯
耶鲁大学Julie B. Zimmerman教授出任ES&T主编
贝勒大学Bryan W. Brooks教授出任ES&T Letters主编
韩国科学院院士Wonyong Choi将出任ACS ES&T Engineering创刊主编
CEJ Advances创刊 | 潘丙才教授任主编,四位华人学者任副主编
ACS对话 | ACS ES&T Engineering创刊副主编马军院士
专访:Environmental Science & Ecotechnology 主编团队

图片

图片
图片

扫描二维码,快速入群~

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/181256
 
11 次点击