开源技术是人工智能应用创新的重要源泉与驱动力——先行者发布最新的研究论文,探索者尝试将论文在开源框架上进行复现,产业界则基于这些开源算法模型在实际应用场景中的探索。可以说,中国人工智能领域90%以上的产品都使用了开源的框架、库或者其他工具包。受益于AI乃至整个软件市场基于开源的产品的增长,“开源”已经成为众多AI厂商最近三年重要的产品和市场战略之一。
从2010年以前的深度学习开源框架Theano、Torch的发布,到2015年谷歌发布TensorFlow并风靡全球,再到近两年中国国产框架陆续发布并占有一席之地,开源框架市场一直在不断演进。有些框架始终根据市场需求不断迭代,有些框架已经停止更新,还有些框架后来者居上。伴随着框架产品特性的不断迭代升级、数据科学家/算法工程师群体不断壮大,产业生态也在演变中日益繁荣。
框架产品特性迭代:早期框架功能特性主要以支持模型训练、算法开发为主,随着框架产品竞争日益激烈,以及算法模型开始从实验室走向生产环境,框架发布方也开始强调对底层算力、模型部署发布等提供全面的支持,并面向特定场景提供端到端开发套件。数据科学人才壮大:早期在深度学习框架上开发AI应用的人才仅分布在互联网以及人工智能技术供应商领域,多为专业的计算机或者数据科学人才。随着深度学习技术的普及,AI开发者已不再局限于互联网以及第一梯队的AI公司中。传统行业中具备一定数学基础的业务人员以及信息科技部门的软件工程师也开始主动学习建模技能,以支撑业务智能决策。可以说,数据科学家、算法工程师这一群体在不断壮大。产业生态日益繁荣:随着众多传统企业参与到人工智能行业,深度学习框架到最终人工智能应用部署之间的生态也日益复杂。一方面,传统行业人才比较充足的头部企业会在内部自建团队探索采用深度学习框架开发AI应用;另一方面,行业解决方案商、独立软件开发商也开始从几个人的团队做起,开发基于深度学习的应用,对传统的产品/解决方案进行智能化升级。产业链上不同环节的参与者在采用框架时又对框架特性提出不同的需求。整体上,基于开源深度学习技术的产业链条在不断延长、丰富。
在2021年上半年的中国深度学习开发者市场调研中,TensorFLow、PyTorch以及百度飞桨Paddle成为最高频使用的主流框架。全球性框架如TensorFlow和PyTorch均有自己的显著优势所在。TensorFlow过去的优势在于具备先发者优势,且较早就提供了模型部署相关的功能特性。PyTorch的优势在于具备丰富的前沿算法模型,易上手,非常适合做研究。国产框架则集结了国际主流框架的优点,例如,百度飞桨Paddle在集合TensorFlow与PyTorch优点的基础上,兼为本土用户的需求提供丰富的适配场景的端到端开发套件,支持云边端各种环境的轻松部署。华为MindSpore开源仅一年多,凭借全场景部署、自动并行、全流程极简等友好特性,在数据科学家和算法工程师中迅速应用,为开发者提供部署灵活、运行高效的开发体验。
在训练框架的基础上,也催生出多个在端侧或者边缘侧推理的框架。除了英伟达公司提供的基于GPU的推理加速引擎TensorRT,Intel公司提供的AI加速推理引擎OpenVino,国内互联网公司也推出了面向不同应用场景的端侧推理引擎。例如,百度基于飞桨Paddle为不同硬件提供适配的推理引擎Paddle Lite,华为公司于2020年推出开源全场景推理引擎MindSpore Lite,小米公司于2018年开源移动端框架MACE,阿里巴巴集团于2019年发布端侧推理引擎MNN,腾讯优图实验室2020年开源移动端推理框架NCNN的升级版TNN。
根据IDC调研数据,目前开发者选择开源框架的因素主要考量包括:社区的丰富程度、框架的易用性、是否有丰富的算法模型和部署的友好程度。社区丰富程度意味着遇到问题可在社区内快速找到答案或者得到反馈,易用性意味着可以让开发者快速上手,丰富的算法模型则意味着前沿算法可以快速复现,或者面向场景的算法模型可以快速落地到生产环境,部署的友好程度也决定了该框架是否能直接快速部署在生产环境中。此外,安全性也开始成为考量因素之一。
当然,不仅是框架产品本身,用户对于开源技术决策模型中,框架发布方的企业影响力、品牌口碑等,都是开发者是否试用该项开源技术的重要影响因素。
随着AI开始从实验室走进生产环境,用户对AI技术栈的关注点不再是简单的训练框架,也会考虑部署过程中如何构建完整的AI系统:基础设施层如何支持分布式训练,选择何种容器技术,模型发布后需要监控哪些指标等等。
IDC中国助理研究总监卢言霞表示:“越来越多的用户开始试用开源技术自主开发AI应用。从最早的开源框架、算法模型,再到开发语言,以及底层的开发平台,人工智能应用开发已不再是简单的训练算法模型,而更重要的是建立端到端的AI开发部署技术栈。开发者应该选择能够不断迭代升级的深度学习框架,关注是否能够提供AI部署全栈技术支持,采用统一部署平台来管理日益增加的模型。”
IDC更多人工智能及大数据研究相关报告:
中国AI基础数据服务市场研究报告(2021年9月)
中国智能媒资解决方案市场机会分析(2021年10月)
中国人工智能软件及应用市场半年度研究报告-2020H2(2021年6月)
中国AI云服务市场半年度研究报告-2020H2(2021年6月)
中国大数据市场半年度研究报告-2020 (2021年6月)
IDC MarketScape:中国RPA软件平台市场厂商评估,2021(2021年8月)
IDC中国将于10月14-15日在上海举行 “2021 第六届IDC数字化转型年度盛典”,欢迎您莅临现场,共同见证卓越案例的诞生!
如您对本次盛典感兴趣,请扫描下方二维码或点击文章左下角”阅读原文“,在线抢先报名注册!
备注:本次活动仅针对行业用户参与
- 全文完 -
更多咨询,请联系:
王勇,IDC中国 助理副总裁
电话:(+86-10) 5889 1588
电邮:fwang@idc.com
谢静,IDC中国市场部
电话:(+86-10) 5889 1558
电邮:mxie@idc.com
扫描微信二维码,关注IDC 研究成果,掌握ICT市场脉搏