社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

乱战 | 深度学习模型部署大战 – 鹿死谁手

OpenCV学堂 • 4 年前 • 521 次点击  

点击上方蓝字关注我们

微信公众号:OpenCV学堂

关注获取更多计算机视觉与深度学习知识

边缘智能时代已经到来,人工智能2.0版本时代,到底谁主沉浮! 暂时还看不出来,但是我觉得用不了两年,很多前端部署与推理框架都会慢慢消亡...

模型前端推理部署框架

不知道从什么时候开始,边缘智能成为各大厂眼中可以分的蛋糕了,据统计全球超过10亿的边缘设备需要智能化、这个是一个超级庞大的市场,要想边缘智能化首要前提是可以在边缘/端侧支持深度神经网络计算加速,谁能搞定这个这个庞大的市场就是谁的了,所以从英特尔、英伟达的边缘部署框架OpenVINO、TensorRT、到国内阿里开源的MNN、腾讯早期推出的NCNN、腾讯刚刚推出TNN、此外国内还有一线硬件厂商也推出自己的模型推理部署框架、百度Paddle-Lite等、笔者初步统计一下,不少于十几个。但是我可以给他们划分为三个大类:


第一类:

有硬件厂商自己推出的框架,在自家的硬件上支持各种模型的推理加速,典型为英特尔OpenVINO、英伟达的TensorRT、它们背后都有硬件资源支持,在国内与一线互联网公司都有合作。


第二类:

纯软件公司或者人工智能公司推出的,它们主打兼容性,各种硬件平台支持,各种深度学习框架兼容,但是从长远来看,面对有硬件厂商背景加持的框架,纯软件公司要不跟这些厂商形成合作关系共建生态系统、不然就会面临硬件厂商的无情打压、生存空间与发展必然陷入危机之中,所以它们都选择开源方式,希望淡化商业色彩,吸引更多开发者。


第三类:

国内的人工智能硬件厂商自己的推理框架、这块在工具链、软件成熟度与接口易用性、开发者社区与生态构建跟英特尔与英伟达还有差距,但是如果能够趁势而起,也许他们跟国内的互联网公司一线厂商可以合作,以补足自己在软件工具链开发与成熟度方面的经验缺陷、与它们共建开发者社区,还是大有可为。

开发者角度考量

作为一个技术开发者,我以前写过一篇文章,只要做了开发者,做了码农,你就面临两个很现实的问题,一个是用什么语言跟框架、二是用什么IDE,上述的那些推理加速框架,有的配置起来简直是反常识跟反开发者认知,试问哪个开发者会用?另外一个问题是SDK的易用性,OpenVINO调用模型完成加速推理,不超过5个函数即可完成!开发者学习曲线相对来说很短,比较平缓,容易接受。有的框架跟工具链,对照说开发者文档都无法做下去,这个就感觉比较坑爹!开发者的时间就是金钱、笔者也测试过几个框架,同时也跟周围的一些使用者了解过情况,总的说来有些框架不是开发者友好型的,完全是在自嗨,以为自己很牛逼,这种开发者生态自然慢慢把它遗忘的。


有句话说的好,每个人都要为自己吹过的流弊负责、只有那些开发者友好的,不断迭代改进的框架会最终赢得开发者的青睐,成为主流的部署框架,很多推理部署框架短暂的自嗨改变了什么,要知道现在开发者也不是傻子,他们自然会在实践中选出最适合项目跟可靠性高的前端推理与部署框架。


写在最后的话,做一件事情并不难,做好一件事情也不难,难的是一直坚持把一件事情做到最好,这个是很多开源框架最大的坑,慢慢就不更新没人维护了、最后都靠大家自生自灭!很多框架就是这样走上消亡之路。开发者花去大量时间掌握的所谓框架编程技能到时候无法变现,浪费大量时间。所以我对这些框架的态度就是需要就用,不需要就扔!而且是随时可以扔的那种,一句话,技术必须面向市场,掌握可以长期持有跟增值的技术,其它的技术都是伪技术跟伪技能,掌握越多有一天开发者死的越惨

最后

没写一些人工智能硬件公司名称,主要是不好妄加评论!其实我很少写对框架跟行业的看法,不是没有看法,是看法很多,但是容易引起争议!此篇破例了,若你与我不同观点,请留言拍砖,区区小可感谢大侠指点迷津!


PS:转载请注明!

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/70264
 
521 次点击