王双飞院士团队王志伟副教授Nano Energy：基于深度学习的TENG实时数据可视化监测

【研究背景】

智能传感器和逻辑算法的蓬勃发展推动了物联网（IoT）的广泛应用，加速智能时代的到来。摩擦纳米发电机 (TENG)传感器及深度学习(DL)的集成凭借TENG的自供电传感、高灵敏度及广泛适用性等独特优势及DL强大的数据处理能力，准确、高效和可视化监测各种相关信号，具备远超常规的传感性能和发展潜力，在智能家居、健康医疗、环境监测等领域广泛应用，推动了下一代更加智能、高效的传感系统的发展。

【文章概述】

近日，王双飞院士团队王志伟副教授课题组就近年来DL辅助TENG进行实时数据可视化监测领域的研究进展进行综述。重点介绍DL相关算法的基本原理和处理过程，突出其在复杂数据处理过程的优势，并分析了液-固和固-固的TENG在自供电传感和多模态信号采集方面的应用；重点总结了DL与TENG集成的优势和协同机制，全面总结了二者集成数据可视化实时监测在多维触觉感知、人体运动感知、健康监测、外部环境感知与反馈和液体识别与分析五个方向的应用。最后，讨论了二者集成未来发展面临的挑战和应对措施。该成果以题为“Real-time data visual monitoring of triboelectric nanogenerators enabled by Deep learning”发表在国际学术期刊《Nano Energy》上。2023级硕士研究生张慧亚为本文第一作者，王志伟副教授为通讯作者，刘涛、邹雪莲、朱云鹏、迟明超、吴迪、江柯漾、朱思嘉、翟文霞等研究生参与研究。

图1. DL辅助TENG实时数据可视化监测，包括DL的步骤；CNN、RNN、 LSTM 算法原理；应用

【图文导读】

1、DL网络模型

随着IoT飞速发展，需要处理的数据量也呈指数型增长，亟需高效处理。AI领域因其数据处理技术备受关注，特别是机器学习（ML）技术仅需向计算机系统输入足够的相关问题数据，便能自动洞察数据规律生成模型，进而做出精准判断或决策。高质量的数据特征对算法准确度至关重要，作为ML的一个子集，DL展现出能强大的能力。DL能够自动学习多个任务的特征集，在一次操作中同时完成学习和分类，实现对复杂数据的深入学习和理解。因DL卓越的特征学习能力，能够自动提取数据中的高层次特征，在各个领域广受青睐。

图2. DL的演化

（1）卷积神经网络（CNN）模型

CNN通过模拟生物视觉认知机制，能够有效提取图像和视频数据中的关键特征，具有广泛的应用前景。CNN通常由输入层、卷积层、池化层和全连接层和输出层组成，通过卷积层和池化层等部分连接降低了网络参数量，简化网络训练过程。CNN中的人工神经元能够对局部区域的特征做出响应，并在图像处理中逐渐将低级特征映射为高级特征，实现最终的分类识别。

图3. CNN模型

（2）循环神经网络（RNN）模型

RNN是一种专门处理时间序列的神经网络，通过其循环结构和时间记忆能力，能够处理时间动态消息，从而适用于语音识别、自然语言处理、时间序列分析等任务。一个标准的RNN模型主要是由输入层、隐藏层和输出层组成，隐藏层内部的节点是有连接的，隐藏层的输入不仅包括输入层的输出，还包括上一时刻隐藏层的输出。这种同层神经元间直接连接，赋予RNN独特的时间记忆功能。

图4. RNN模型

（3）长短期记忆（LSTM）模型

LSTM能够通过增加线性干预有选择地添加或减少信息，从而解决普通RNN网络记不住和梯度消失问题，因此在数据中的长期依赖关系方面表现出色，适用于语音识别、自然语言处理和机器翻译等领域。每个LSTM单元具有相同的输入和输出，也有更多参数和控制信息的门控单元系统，最重要的组成部分是状态单元，有类似于渗透单元的线性自循环，因此能有效存储和更新上下文信息。

图5. LSTM模型

2、DL驱动TENG传感器的特点和优势

TENG因其自供电和灵敏度高的特性，在传感领域备受关注。但是，TENG易受环境影响，来自环境的微小信号很难用肉眼识别，影响其传感性能，随着信息技术的发展，将DL数据处理技术与TENG相结合，在物联网传感领域取得了丰硕的成果。现从用于自供电传感的液固和固固TENG原理出发，通过对TENG采集的多通道数据进行解耦处理，可以与DL进行耦合，实现数据的自动学习和特征提取。

图6. 用于自供电传感的TENG传感器

3、DL辅助TENG在实时数据可视化监测中的新兴应用

DL辅助TENG可以实现数据的实时智能处理，从而提高数据处理质量、识别模式、预测未来趋势或做出智能决策，实现更智能、更高效的能源采集和传感网络，为未来可持续发展奠定基础。随着技术的不断进步，DL辅助TENG传感器已广泛应用于多维触觉感知、人体运动感知、健康监测、外部环境感知与反馈、液体识别与分析等领域，从而推动了智能传感技术的创新与发展。

（1）多维触觉感知

随着人工智能的发展，各种类型的传感器和交互界面已经遍布整个物联网。触觉交互界面对对于可视化实时监测在机器人智能分拣和环境监测非常重要。在DL的辅助下，受软机器人和电子皮肤的启发，TENG可视化实时监测可用于多维触觉感知系统，例如物体识别、材料和纹理识别和手写识别等领域。

图7. DL辅助TENG用于多维触觉感知

（2）人体运动感知

利用摩擦电信号的幅值和峰值实现人机交互、识别人体运动，对人体运动监测等具有重要意义。然而，由于与人体运动相关的摩擦电信号具有许多微妙的信息，仅依靠摩擦电振幅或峰值数无法识别复杂的运动信息。因此，可以将DL数据自动识别和特征提取的优势用于辅助TENG实现人体运动感知，可用于手势识别、步态分析、甚至可用于微动作识别以及其他运动识别等。

图8. DL辅助TENG用于人体运动感知

（3）健康监测

实时数据可视化监测在为健康监测、早期诊断和疾病管理提供非植入式解决方案方面取得了重大进展。然而，这一领域的主要障碍是在于准确和持续地从人体收集数据。TENG先进传感技术以及DL优异数据处理技术的集成，推动了TENG在健康监测领域的发展，在呼吸检测、辅助康复训练、血压监测与诊断以及其他健康监测系统得到了广泛关注。

图9. DL辅助TENG用于健康监测

（4）外部环境感知与反馈

随着科技发展，传感器遍布我们生活的方方面面，促进了生产和生活的进步。特别是在DL辅助下的TENG传感器表现出更高的识别精度，推动了TENG在外部环境感知与反馈方面的发展，可用于环境因素感知、机械失衡预警、智能家居传感和辅助驾驶行为等领域得到应用。

图10. DL辅助TENG用于外部环境感知与反馈

（5）液体识别与分析

随着社会的快速发展，液体已成为工业生产和日常生活中不可或缺的重要物质。DL辅助TENG进行液体监测，可以快速识别溶液参数，促进智能传感器进行多参数监测的发展，可用于微塑料、沉积物颗粒、胶体溶液、溶液类型甚至液体味道等领域的可视化监测。

图11. DL辅助TENG用于液体识别与分析

【结论】

（1）挑战与应对措施

随着物联网的快速发展，未来对便捷、多功能的监测系统的需求不断增加，开发集成高灵敏性、高精度和绿色低碳等优势于一体的可视化实时监测系统，将成为关键的突破口。尽管DL辅助TENG推动了实时数据可视化监控系统在单个或跨领域取得了重大进展，在实际应用前仍面临诸多挑战。

图12. DL辅助TENG实时数据可视化监测的应用、挑战与应对措施

本文在简要概述DL数据处理优势和TENG自供电传感基本原理的基础上，系统的讨论了CNN、RNN、LSTM三大主流DL模型的架构、原理和应用方向，同时阐释了TENG传感器的工作机制及应用领域，重点总结了DL辅助TENG在可视化实时监测领域的最新进展。然而，未来研究需要在提升系统整体性能和实用性方面进行更深入的探讨，并克服多模态传感、边缘计算、新材料和算法优化等方面的挑战，以促进更广泛的商业化和实际应用。

Huiya Zhang, Tao Liu, Xuelian Zou, Yunpeng Zhu, Mingchao Chi, Di Wu, Keyang Jiang, Sijia Zhu, Wenxia Zhai, Shuangfei Wang, Shuangxi Nie, Zhiwei Wang, Real-time data visual monitoring of triboelectric nanogenerators enabled by Deep learning, Nano Energy, 2024.

https://doi.org/10.1016/j.nanoen.2024.110186