城市站点
> easydl图像分类流程有哪些环节(百度EasyDL平台最全讲解!算法小白5分钟定制出一个AI模型)
详细内容

easydl图像分类流程有哪些环节(百度EasyDL平台最全讲解!算法小白5分钟定制出一个AI模型)

时间:2022-08-25 19:50:20     人气:285     来源:www.zhongshaninfo.com     作者:爱发信息
概述:......

主讲导师 | 赵鹏昊 本文编辑 | 师侥

去年3月,智东西公开课推出超级公开课NVIDIA专场,目前已讲解完12场,共12位主讲导师参与。

本次讲解为超级公开课NVIDIA&百度联合专场,也是超级公开课NVIDIA专场第11讲,由百度AI技术生态部高级算法工程师赵鹏昊主讲,主题为《如何借助GPU集群搭建AI训练和推理平台——零算法基础的百度EasyDL定制化图像识别揭秘》。

赵鹏昊老师对百度EasyDL定制化训练和服务平台进行了全面讲解。EasyDL是基于大规模NVIDIA Tesla P4,P40为主的GPU集群搭建而成,使得算法小白也能通过这一平台最快五分钟完成一些小规模数据集的训练,获得一个90%以上的高精度的定制化模型。目前EasyDL主要开放了图像分类、物体检测和声音分类能力。

以下是赵鹏昊老师的主讲实录与大纲,共计9418字,预计10分钟读完。

大纲

1.AI赋能行业的痛点

2.EasyDL服务端和设备端技术解析

3.GPU集群加速EasyDL训练与推理

4.EasyDL赋能行业案例分享

主讲实录

赵鹏昊:大家好,我是百度的工程师,赵鹏昊。今天晚上给大家讲解我们是如何利用GPU集群搭建的一些EasyDL平台的。我们今天会从以下四点给大家进行讲解。第一点是:AI赋能行业的痛点;第二点:我们EasyDL平台的服务端和设备端的技术解析,第三点:我们如何利用GPU集群来加速EasyDL的训练和推理。最后是我们EasyDL对行业的一些案例的分享。

AI已经是大家耳熟能详的名词了,像我们生活中都能见到像人脸识别的技术、像我们百度出的小度在家、小度智能音箱这种智能语音的技术、多轮对话的技术还有我们百度与金龙客车合作的无人驾驶技术。这些都已经慢慢的进入到我们寻常人家并在改变我们的生活。近十几年来,我们在理论上、框架上、芯片上等等各个方面上技术的发展,AI正在成为新时代的电力。


为了让AI成为新时代的电力,百度AI开放平台开放了一些通用的模型来解决一些通用的需求,比方说,我们已经开放了OCR技术、图像识别、自然语言处理等技术。百度AI开放平台使用通用的模型去解决一些同样的问题,比如OCR技术里面会有一些身份证、银行卡的OCR识别。这些技术运用了我们百度内部长期积累的数据和算法,我们希望通过我们积累的这些数据和算法,能够提供高质量的模型来给用户使用。

有些客户会有一些像右边这些图中的需求:比方说:他们想要通过图片去识别出这是哪种中草药,以此来帮助他们的工作人员去进行药品鉴定。再比如说:品牌的零售广告主,他们会签约一些小超市和小卖部,让他们把自己的产品摆放在货架大部分的位置,所以就有了巡检员去巡检摆放合不合规。


但是通用模型解决不了这些需求,这就涉及到AI定制化需求时碰到一些难题,这些客户的核心诉求,第一:通用的API不能够满足他们的业务需求,需要根据他们自己的数据去训练他们独特的模型。第二:这些客户往往对自己的专业的领域知识很了解,但是他们不了解深度学习的理论和模型训练的方法,而且他们也不希望去面对繁琐的训练、部署、运维等工作。第三:他们希望快速的去验证这个模型的效果。

用户在验证效果满意之后,还希望能够拿到一个定制化服务的API或者想要做自由化的部署,拿到一个离线的SDK,去结合他们的产品做成一整套自己的产品和服务。


EasyDL平台正是看到了AI赋能行业的痛点,看到了用户在做定制化需求时的诉求,所以开发了这样一个定制化训练模型和服务的平台,左图是EasyDL平台的整体架构,用户提供自己的数据,这些数据可能是图片、文本、声音或者视频等等。然后放入平台中,由平台做加工学习、部署和服务。最终给用户提供一个云端独立的RestAPI或者是一个离线SDK,让用户能够补充到自己的终端智能设备中。

我们跟普通机器学习和深度学习工具的差异,跟TensorFlow或跟百度自己的PaddlePaddle这些工具的差异是:提供从数据到服务的一站式平台,不需要用户有任何机器学习或深度学习基础,并且我们按能力划分:比如图像分类能力、物体检测能力、声音分类能力以及刚上线的声音分类能力后面还会有更多能力。我们不仅提供了一个云端的RestAPI的服务,还提供了设备端SDK的服务。

并且EasyDL平台使用方便、训练模型更加轻快、精度更高,而且我们有强安全的策略能够保护用户的数据和模型。


下面给大家介绍EasyDL平台服务端和设备端的技术。首先是服务端的核心技术,下面从四个方面给大家介绍。第一个是说我们如何提供从数据到模型到接口的一站式服务。里面就是主要涉及到我们开发的AIworkflow的分布式引擎以及百度的PaddlePaddle深度学习框架。第二是在数据较少的情况下如何做到训练效率的提高,主要涉及到我们迁移学习技术。第三:如何做到更高的精度。主要是Auto Model Search和Early Stopping的机制。最后给大家介绍一下我们EasyDL平台模型效果评估的功能。


一般的深度学习工作流程如下:将大量标注好的数据存在数据仓库中。然后通过一些数据清洗工具做ETL。清洗数据并提取需要的特征,可能还会做一些训练及验证集切分等。用这些清洗好的数据做分布式训练,之后对得到的模型去做一个效果评估。如果满意,最终会把它去做一个部署,然后可以让它上线服务。

我们AI的训练集往往很大。在大数据领域,大家都知道经典的3V原则,无论是数据容量、数据增长速度以及数据多样性都非常大。所以我们在工程上,加入了一个大数据工程系统作为基础设施来提高我们整个EasyDL的效率和便利性。右图是EasyDL的AIworkflow的分布式引擎的解决方案,左图是我们用mongoDB Hadoop HDFS来做的一个分布式存储。

我们后面会用spark集群去对数据做分布式的预处理和模型最后的分布式评估。在训练阶段我们是用kubernetes集群来做调度。模型是用paddlepaddle写的。最后呢,我们把训练好的模型通过docker技术在平台上做一个服务。


我们在paddlepaddle框架的API上做进一步的封装。我们对数据的预处理、模型的训练、模型的评估等阶段,做了进一步的抽象。这样使得工作流可以完全的实现配置化和自动化。

刚才我们也提到了paddlepaddle这种百度开源的深度学习的框架。paddlepaddle上面开源了我们百度一系列的成熟的模型和数据。并且他还有大量的中文的文档视频培训课程等。所以说他可以说是最适合我们中国的开发者的一个框架,以及paddle mobile、可伸缩扩展EDL和可视化VisualDL插件等可伸缩的扩展的、可视化组件等这些功能。右边是我们EasyDL使用paddlepaddle的一个应用事例。从这个事例中我们可以看出来,用paddlepaddle做我们模型的定义和训练是非常方便的。

一般而言,深度神经网络的训练需要大量的标注数据,但是有定制化需求的客户拥有的标注数据往往有限。而且从头训练一个神经网络是很花时间的,但是客户希望更快地得到训练的模型。


为了解决这样的矛盾,我们采用了迁移学习技术。迁移学习通过源领域数据学习到知识,然后将其应用到相关的目标领域中,帮助目标领域的任务完成训练。比如,我们可以在一个通用的植物分类模型中学习到一些识别植物的知识,然后将这种知识应用到前面提到的中草药识别任务中,帮助它更快更好的训练。

举个例子,比如说我们刚才提到的中草药识别。如果说我们有一个通用的植物分类模型。那么我们就可以将这个模型中学习到的一些识别植物的知识运用到中草药分类的任务当中,来帮助他更好的去做训练。具体来说,我们是将百度大规模的标注数据集在深度神经网络上去做预训练,然后我们得到训练的参数,然后我们将这种预测训练的参数加载到我们这个网络中,根据用户的数据在网络得到用户自己的一个模型。

具体的,我们将百度大规模的标注数据集在深度神经网络上做预训练,得到预训练参数,然后将用户的数据在预训练模型中做微调,最终得到用户的定制化模型。训练时间从几十小时降到分钟级别。此外,我们还支持多领域预训练、数据闭环、持续训练等机制。


为了更好的去匹配不同的数据,我们利用Auto model search设施对模型的结构调整,和超参数、优化器等等这些去做自动的搜索,去选取一个最佳的模型。另外,用户提供的数据量有时候比较小,在我们深度神经网络训练中,往往就会出现一个过拟合的现象,对应为了应对这种过拟合的现象,我们就采取了Early Stopping机制来降低过拟合的风险,提高模型的可能性。目前。我们图像分类绝大部分模型的准确率在百分之八十以上。


我们提供了全面的模型效果的评估功能。我们有一个整体模型评估的页面去展现出我们整个模型的像准确率、正确率等指标。比如说图像分类中每个分类的精确度,比如说在物体检测中,我们会展示这个不同阈值下的F1Score。我们会帮助我们的用户去选择一个阈值。我们还提供了BadCase的展示,然后通过BadCase展示我们的模型哪个图片识别错了,然后有一个感性的认识,去发现自己数据当中可能存在的问题,或者去补充一些效果比较差的一些分类的数据。

以上是我们服务端的核心技术。大家也知道我们不仅提供云端的API服务,也提供离线SDK。那么我们为什么要做这样的一个设备端计算呢,这其实是IoT领域提出的一个概念,在智能家居领域里面,每个家庭的局域网内有很多智能的设备。有些计算自己可能就可以在自己的设备上完成。然后,但是计算力不够的时候,有可能需要中间有一层叫做雾计算的结构。所以需要去做一些运算和协调计算。如果再不能满足,便再向上请求到云计算的服务器去做计算和协调这样的一个多层的计算网络的结构。


就是因为云计算和设备端计算他们有不同的特性,就向右边这张表格所展示的,云计算在计算能力方面非常的强大,而且系统的架构非常的开放,非常的集中在一些机房里,而且研发成本相对较低。因为互联网时代已经有非常这样的开发经验。但是设备端计算也有自己的一些优点,虽然算力有限但是可以做到比如模型的前向推理,没有网络的依赖,可以做到实时的响应,而且它的功耗非常的低。


正是由于设备端有这样的响应、没有网络开销,而且方便私有化部署、保护隐私等等这样的优势。所以说我们也支持了设备端计算的能力,并且非常看重这个方向。目前我们EasyDL的平台,已经支持了iOS 利用MPS实现GPU加速和ARM芯片通过NEON技术加速和android方面支持NPU的加速计算,并且还会有计划去支持更多的系统和计算平台。


目前我们提供设备端能力是通过下面两种方式。首先,提供了一个默认的app,用户扫码就可以安装并使用。在这个app里面内嵌了定制模型,还有一些基本的UI界面用户就可以在里面去操作去试使用。另外一种方式是我们提供了离线的SDK,这个SDK里面封装了完善的接口,可以满足开发者去做灵活的二次开发。下面给大家简单介绍一下我们EasyDL设备端的技术。我们的EasyDL设备端也是基于Paddle Mobile设备端深度学习计算框架去做的,并且我们已经广泛支持主流的设备操作系统和芯片,并且还做了设备的模型的转换压缩优化。在设备端计算加速这块,我们就是充分利用的设备端芯片进行加速,比如说我们在IOS上用了MPS库,可以更好的利用IOS上面的GPU进行加速。我们还在ARM芯片上通过NEON技术来做加速。

http://www.jsyunjun.com/file/upload/tt1999/999.jpg

除了速度时间这个因素之外,我们在设备端去部署模型还要考虑的一个问题是模型的体积。在服务器上,我们都到的机器学习模型往往大小在两百兆到五百兆或者说更大。因为深度学习网络的模型会比较复杂,而且,尤其是如果说你有很多全连接层,参数就会更多,但是设备端的内存容量,计算能力一般都远远低于服务端。我们手机的内存可能就两G,这已经很大了,而且我们也不可能把这个全部都占满,所以说我们必须得做模型压缩,然后减少内存占用,提高计算的效率。

目前,我们通过一些模型加速的技术可以把这个移动端的模型的体积压缩到二、三十兆。我们采用的压缩技术包括把一些不重要的参数去掉,量化,将一些浮点数量化成8bit的数值或者4bit的数值。或者是采用一些更轻量化的网络。


下面呢,给大家介绍一下我们如何利用GPU集群去加速EasyDL的训练和推理。我们EasyDL平台主要就是利用英伟达的特斯拉系列的GPU去做去深度学习的平台。目前主力是p4和p40这样的GPU,我们还用到了这样像V100这样的高端的GPU来做模型的训练实验等。我们用这样的大规模集群去做并发的训练来支撑我们大规模的深度神经网络的并发的训练。能够大幅度缩减我们训练的周期。像这个p4有5.5t的单精度的计算能力。

P40的有12tfloat单精度计算的能力,并且p40的显存是24G,P4的显存只有8GB。所以我们在P4做我们这个模型的部署和服务,在P40,V100上去做模型的训练。


我们模型的线上推理阶段采用了大规模的P4为主的集群。通过我们这里的数据可以看到,利用GPU集

http://www.jsyunjun.com/file/upload/tt1999/999.jpg

群的性能远远超过了CPU的集群。在我们典型的一个业务场景下,我们对集群单点的承载和实验的性能进行了压力的测试,大家可以看到我GPU集群的显著优于CPU的集群。


由于基于GPU集群的训练和服务都足够的快,所以说在用户体验方面,我们EasyDL的用户最快五分钟就可以完成一些小规模的数据集的训练并且获得服务。我们比同样的需求通常需要数天的训练的周期相比我们大幅的提升了效率。这样的就解决了我们定制化模型训练和服务中的一些效率的挑战。

我们用刚才所说的kubernetes来完成了我们GPU集群的搭建。这样我们可以对训练和服务做到统一的资源调度来高效的利用我们的资源。并且也有很好的扩展性,我们还可以通过扩展我们GPU的集群的规模来拓展训练的能力,扩展我们服务的能力。并且我们有这个高可用的特性,如果有故障了,也不会影响到我们集群的一个服务能力,保证我们服务的一个稳定性。


最后,跟大家分享一下我们EasyDL行业的一些案例。目前,我们可以解决两个问题。其实现在已经是三类的问题了,就是后面我会给大家介绍我们第三类的能力。这两个问题是说我们有图像分类的能力,我们可以通过一张图片去识别它到底是属于客厅还是餐厅。这样的话可以方便我们互联网内容的平台去做图片的自动打标签的一些功能。我们还有物品检测的能力,就是说我们可以识别出来这张图片里面有没有空调,空调在什么地方。我们可以将这种能力的应用到我们零售仓储行业的商品货品,检测统计等等这样的场景中。

我们EasyDL平台,从去年十月份上线一测以来就支持了刚才所说的图像分类能力,在今年四月份我们又开放的物品检测的能力。在今年五月底我们支持了刚才介绍的设备端计算能力也就是离线SDK能力。刚刚大家跟大家想到我们有第三个能力,这也就是我们昨天刚刚上线的声音定制化识别的能力,大家有兴趣就可以去我们平台上试用。


第一个给大家分享的案例是蝶鱼科技的案例。这是一家制造键盘的制造商,然后他们的场景是说在键盘的制造过程当中会有一些缺陷或者错装以及不符合规格的情况。他们要把这些识别出来的跟正常的做区别然后再出场。之前这都是通过人工去做的。在利用了我们EasyDL平台去训练了三千多张图片之后,识别率达到了百分之九十九以上。他们就让我们的EasyDL接口和他们自己的供应摄像头做了一个综合的检测系统来帮助他们的生产线每年节省了十二万的人工检测成本。

easydl


第二个案例是美国的零售安防的供应商,他在美国的纽约州,新泽西州等等七个州一百多个超市里面有一千多台摄像头设备,主要就是来监控购物车下层有没有没付款的商品。之前他们都是通过传感器去判断的,但是传感器对于一些残疾人购物车或者儿童购物车这些错误的识别率很高,所以他们利用我们的平台去做一个EasyDL模型的训练。最后的准确率能够达到百分之九十五以上,远远超过了这个客户的预期。


前面介绍的都是图像分类的一些案例,这个是物品检测的案例。这家客户是叫做惠合科技,他们有个产品叫做e店佳。就是通过零售部门店去做拍照,然后去看这个摆放的商品合不合规。之前的他们都是巡检员去巡检,然后用人工的方式去统计。这样一方面成本很高,另一方面。作弊的现象也比较多,利用我们EasyDL平台去做这样的一个物品检测的模型训练之后,他们接入了这样的一个自动化的审核的方案使得他们审核效率提升了百分之三十。


最后一个案例,那来自于我们百度的合作伙伴CELLA,CELLA是面向企业客户的一个系统集成商,这是他为圣象地板做的解决方案,圣象地板会有一些瑕疵。利用我们百度EasyDL平台,他对前面两种瑕疵去做图像的分类,对后面两个去做物体检测,整体的测试识别准确率能达到百分之九十五以上。然后。我们将这样的一个方案的离线SDK移植到我们客户的智能摄像头里面,去做成了一个软硬一体的方案。这样的话提高了我们单片木板的产能,现在的处理时间仅为原来的一个四分之一。

EasyDL平台如此多成功的案例。那么他复杂吗?一点都不复杂,只需要简单四个步骤,只需要十分钟就可以获得自己建立模型。第一步就是创建我们的数据和模型。第二个就是模型的训练,第三步是验证模型的效果,第四部是发布模型的服务。在我们EasyDL的首页里面有用户的说明文档,还有教学的视频,大家感兴趣可以去。看看我们这些这个教学的内容去尝试一下使用我们的EasyDL。

提问环节

问题一

朱俊-炙伦云计算-总经理

1、EasyDL是一个教学或学习平台还是一个生产平台?

2、训练后获得的算法,是否可以在离线环境下使用?离线环境需要具备哪些条件

3、EasyDL是否提供训练用的数据集?用户是否可以上传数据集,对上传的内容是否有限制?

赵鹏昊:1、我们没有定义EasyDL平台一定是一个什么样的平台。EasyDL平台无论是针对普通的开发者还是商家都是可以用的,如果你是一个学生,你可以在上面去做些实验或者去跑一些好玩的东西。如果你是一个传统行业的从业者,你也可以去发现有哪些是希望借助人工智能去解决的问题,在我们平台上去寻求一个模型的解决方案。因此,它是什么平台取决于用户怎么用,同时目前也是完全免费的。

2、目前支持离线环境下的使用,我们已经有了提供离线SDK服务的能力,用户不需要在网络环境上去请求云端的API,完全可以把离线的SDK集成到自己的环境中去做私有化的部署。

3、EasyDL平台没有提供数据集的,因为我们是针对那些有定制化需求的用户,这些用户有自己特有的数据集,我们提供的是上传数据集功能的,可以根据他们自己行业里面或者自己需要解决的问题去上传属于自己的数据集。另外,我们对上传内容的限制也仅仅是图片的大小,比如每张图片小于四兆。

问题二

李平-中油瑞飞-工程师

1.EasyDL能否训练模型,识别阀门开关状态,数字仪表的示数,以及指针仪表读数?

2.还有个问题,就是EasyDL和百度的boteye一体机是什么关系,两者怎么协同工作?能否根据设备指示灯判断设备工作状态?

赵鹏昊:1、这个是可以识别的。比如,你可以把这个数字仪表都拍下来,用物体检测模型将上面的示数1、2、3、4、5框起来,然后给它一个对应的类别,是类别一还是类别二或者是类别三。当后面有新的数字仪表的图片进来放到物体检测时,就可以直接给你返回相应的示数和对应示数的位置。当然,百度AI平台还有其他相关的识别,你也可以了解下这方面相关的一些技术。

2、Boteye是百度视觉技术部门做的一个智能摄像头,主要是用于视觉巡航。目前来说我们还没有跟Boteye有深度的结合,但是我们跟Boteye的团队做的另外一款产品叫做Xeye有一些后面的合作,因为Xeye是做端上的AI相机,我们可以用端的能力去做一些比如图像分类、物体检测等工作。大家也可以去关注一下我们后面跟Xeye的一些合作。

问题三

王绍迪-知存科技-CEO

EasyDL未来的发展定位是什么?提供更多样数据,支持更多的算法开发,甚至支持其他非深度学习类脑算法开发?

赵鹏昊:对于EasyDL平台未来的发展肯定是要提供更多的模型和能力。目前已经有了图像能力,包括图像分类、图像检测等,另外,我们也提供了声音分类的能力。后面还需要去支持更多的能力,比方,文字分类、情感分析以及视频监控等等的能力。

这是在我们平台内部的发展,另外我们还想与外部(百度其他的部门)有更多的合作。比方,我们百度有AutoDL部门,我们不需要用人工去设计一个网络了,而是用算法去自动搜索一个网络,这跟我们定制化地去训练模型有一些共同之处,我们正在打算跟他们去沟通合作,如何将AutoDL的能力应用到EasyDL上来,帮助用户更好地去训练他们的数据,得到一个更好的模型。同时,我们百度开放平台会提供一个叫做AIstore的平台,在上面,可以让开发者去做开发,也可以让一些有需求的买家去购买算法应用到自己的平台上。而我们EasyDL平台会跟AI市场有进一步的合作,将整个上下游的关系都打通,建立起一个整体的生态。

问题四

王猛-大华-开发

EasyDL对模型和数据安全保护方面有什么措施,如何保证训练结果与数据的安全?

赵鹏昊:目前对用户上传的数据是有多重的保护的。一方面我们会对请求的数据做多方的鉴权,去核实你是不是当前对应的用户;另外一方面,我们在数据保存的时候也会做进一步的加密。因此我们对数据和模型的安全性是非常看重的,而且也做了非常多的保护工作。

问题五

涂文哲-电子科技大学-研究生

EasyDL与其他平台有什么突出优势?

赵鹏昊:就像刚才所说的,EasyDL平台已经提供了设备端能力,目前为止,我们的一些竞品平台,比如Google的平台还没有提供设备端能力的一种解决方案,而且EasyDL平台非常的简单易用,只需要十分钟就可以去完成,不需要任何的机器学习基础。

问题六

王慧丽-湖南飞腾-工程师

EasyDL定制化平台,主要是软件算法定制吗?还是支持针对特定应用和算法加速的硬件定制?

赵鹏昊:EasyDL平台主要是模型的定制,而刚才我们也介绍了EasyDL平台设备端的能力,我们会根据一些设备端异构的芯片去做一些特定的加速。因此,也可以认为会针对这个特点支持硬件定制。

问题七

文奴-中科智能-产品总监

工业检测中,检测目标更有多样性,比如:裂痕、划痕、凹陷。且检测目标的大小不一,深度学习方式的分类训练样本如何高质量获得,又如何准确具有高泛化能力?

赵鹏昊:EasyDL平台提供了目标检测的能力以及数据标注的能力,但是训练的样本还是需要我们客户自己来进行标注,如果您在行业里面碰到了裂痕、划痕和凹陷等问题,相对而言,您对这个方面最为了解,那么你就需要把您自己的情况将图片拍下来,然后去我们平台上进行标注。当然,由于标注成本比较高,因此,后续也会有跟一些众包商进行合作,为大家提供众包的标注服务。

关于模型的性能,在物体检测中,我们有很多优秀的模型,从最开始的FastR-CNN到SSD、YOLO、FPN、RetinaNet等等,EasyDL平台也会紧跟学界最先进的模型去做开发,让我们的用户能够体验到深度学习最前沿的发展带给大家的便利。

问题八

姜毅-中科院-算法

1.EasyDL云端训练好的模型及参数可否导出,并部署到其它系统中?如何进行?

2.关于Easy AI Workflow Solution,其中以下几点是否有专门的设计用意?PaddlePaddle使用kuberbetes容器,Inget task使用hadoop和mongodb,Pre&Eval task使用Spark框架。

3.PaddlePaddle框架在定义网络模型时支持动态图吗?

4.PaddlePaddle框架相对TensorFlow,Caffe等开源框架有什么显著的优点?

赵鹏昊:1、像我刚才所说,EasyDL支持设备端的SDK,用户可以利用设备端的SDK来部署到你自己的服务中,只要有SDK的开发能力就可以了,但是目前我们不支持模型参数的导出。

2、关于Easy AI Workflow Solution的设计,我们主要考虑到稳定性、可扩展性以及成熟性等方面。在数据存储上,我们用的是hdfs,mongodb,这些都是在分布式系统和分布式DB中比较公认的,而且有很多实践经验的系统,在数据处理方面,spark也是这样的一个分布式系统。我们之所以使用Kubernetes和PaddlePaddle,是由于它们有很成熟的解决方案,同时也非常稳定和易用。

于祥:3、4:PaddlePaddle是我们国产的一个框架,和其他行业相比,它的设计最大优势在于易学易用,首先是易学,我们官方已经上线了将近四百套相关的课程,这些课程从底层的数学理论到最后实战项目和一些可以落地应用的项目。整个流程都是非常完善的,按照这个课程,一步一步入门Paddle,也不会是一条很陡的学习曲线。

其次,Paddle周边的生态环境非常的丰富,对于刚入门的同学来说,我们可以有n种方式去安装Paddle,最简单的方式就是使用一个Docker,但对于学生群体来说,会有一个问题,就是我们没有那么多的钱去买云的GPU服务器或者带GPU自用服务器,那么就可以使用我们的AI Studio平台,它直接提供了免费的计算资源供我们使用,而且还免去了安装这一步。易用是指它的编程范式抛弃了像TensorFlow中一些新的概念,它还是用原有的一些过程性的程序编程范式,比如循环、判断、分支等来构建神经网络,这样就会比较贴近我们学习编程时的一些思维,也不会去学习很多新的概念。

新课预告

8月9日(下周四)晚8点,AI芯片系列课第七节将开讲,由鲲云科技CEO牛昕宇主讲,主题为《基于数据流定制化架构的AI应用与实践》,扫码报名,免费入群听课!

往期课件获取

第一讲,NVIDIA大中华区高性能计算及Applied Deep Learning部门技术总监主讲赖俊杰,主题为《如何搭建适合自己的深度学习平台》

第二讲,NVIDIA高级系统架构师吴磊主讲,主题为《如何为深度学习和HPC提供更高算力》

第三讲,NVIDIA DLI认证讲师侯宇涛主讲,主题为《不需要写代码,如何用开源软件DIGITS实现图像分类》(线上实践课程,无课件)

第四讲,图玛深维首席科学家陈韵强、NVIDIA高级系统架构师付庆平共同主讲,主题为《深度学习如何改变医疗影像分析》

第五讲,NVIDIA DLI认证讲师侯宇涛主讲,主题为《手把手教你使用开源软件DIGITS实现目标检测》(线上实践课程,无课件)

第六讲,西安交大人工智能与机器人研究所博士陶小语、NVIDIA高级系统架构师易成共同主讲,主题为《智能监控场景下的大规模并行化视频分析方法》

第七讲,清华大学计算机系副教授都志辉、NVIDIA高级系统架构师易成共同主讲,主题为《GPU加速的空间天气预报》

第八讲,希氏异构人工智能首席科学家周斌主讲,主题为《如何利用最强GPU搭建医疗人工智能计算平台——医学图像AI领域最强超级计算机首次解密》

第九讲,NVIDIA中国GPU应用市场总监侯宇涛主讲,主题为《揭秘深度学习》

第十讲,NVIDIA高级系统架构师张景贵主讲,主题为《在你的桌面端通过NVIDIA云端GPU开展深度学习》

第十一讲,百度AI技术生态部高级算法工程师赵鹏昊主讲,主题为《如何借助GPU集群搭建AI训练和推理平台——零算法基础的百度EasyDL定制化图像识别揭秘》

第十二讲,NVIDIA 深度学习解决方案架构师罗晟主讲,主题为《医疗领域的深度学习》

(声明: 网站所收集的部分公开资料来源于互联网,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。本站部分作品是由网友自主投稿和发布、编辑整理上传,对此类作品本站仅提供交流平台,不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。 )
  • 不到现场,照样看最干货的学术报告!

    嗨,大家好。这里是学术报告专栏,读芯术小编不定期挑选并亲自跑会,为大家奉献科技领域最优秀的学术报告,为同学们记录报告干货,并想方设法搞到一手的PPT和现场视频——足够干货,足够新鲜!话不多说,快快看过来,希望这些优秀的青年学者、专家杰青的学术报告 ,能让您在业余时间的知识阅读更有价值。




    人工智能论坛如今浩如烟海,有硬货、有干货的讲座却百里挑一。“AI未来说·青年学术论坛”系列讲座由中国科学院大学主办,百度全力支持,读芯术、paperweekly作为合作自媒体。承办单位为中国科学院大学学生会,协办单位为中国科学院计算所研究生会、网络中心研究生会、人工智能学院学生会、化学工程学院学生会、公共政策与管理学院学生会、微电子学院学生会。2020年4月26日,第14期“AI未来说·青年学术论坛”深度学习线上专场论坛以“线上平台直播+微信社群图文直播”形式举行。百度尤晓赫带来报告《EasyDL,加速企业AI转型》。


    尤晓赫,浙江大学硕士,现任百度AI开发平台部高级研发工程师。负责EasyDL定制化模型训练和服务平台的技术研发,包括图像分类、物体检测、图像分割、多目标跟踪等。


    报告内容:尤晓赫老师的分享内容主要分为三部分,第一部分是EasyDL平台的介绍,包括功能跟特性;第二部分是EasyDL的技术原理;第三部分是EasyDL的实际应用案例。

    easydl





    第一部分是百度大脑EasyDL平台的介绍。各行业场景在AI落地应用当中往往需要定制开发的AI模型,从而使不同企业、不同业务在AI应用过程中都能有更好的效果。百度大脑早期在和波士顿咨询公司的联合调研中,发现约86%的企业需求都需要定制开发业务场景下的AI模型,例如,AI科研机构进行野生生物识别;物流领域进

    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    行包裹基于包装自动分拣等等。在定制开发AI模型的时候往往面临着一些困难与挑战,包括大量数据采集及标注成本较高、算法选型及反复调参需要专业算法工程师反复试验、以及在模型训练完毕后需要大量的工程开发来完成AI服务平稳集成在已有业务系统中。为了解决这些困难和挑战,百度团队开发了EasyDL定制化训练和服务平台,EasyDL平台为企业和开发者提供AI模型开发的全流程功能的支撑,并且面向不同企业用户提供多样化的产品形态,主要包括EasyDL经典版、EasyDL专业版和EasyDL零售版。EasyDL经典版针对AI零算法基础或者追求高效率开发的企业用户和开发者的AI模型与训练平台。EasyDL专业版针对AI初学者和AI专业工程师的企业用户和开发者推出的可编程AI开发平台。EasyDL零售版是专用于零售快消行业用户的训练商品检测模型的训练平台。


    第二部分是EasyDL部分技术原理,尤晓赫老师主要讲解了数据服务、数据预处理和模型训练三块技术。尤晓赫老师首先介绍了EasyDL训练调度的AI Workflow。AI Workflow的基本功能是将架构完全不同的组织组织成工作流,从而使它们自动完成流水线任务。AI Workflow还需要对模型进行并发管理、优先级管理、任务重试等,此外还需要对底层资源进行调度和开发,从而保证流水线可以高效有序地完成。



    接着尤晓赫老师介绍了数据服务里面一些功能,重点介绍智能标注功能。百度的智能标注可以让用户只需标注数据集30%左右的数据,即可训练出标注全部数据同等效果的模型。假设用一些训练集已经训练出了一个可以识别猫的模型,接着想加入新的图片到训练集中,如上图中左边显示的三张猫的图片,第一张图片和原有训练集图比较相似,它对于提升模型的泛化能力是没有太大的效果,第二和第三张图片对模型训练有更好的帮助和提升。智能标注原理是为用户

    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    挑选出像第二张图片、第三张图片这样的数据进行手动标注,然后算法自动标注第一张图片,从而节省标注成本。上图中右边显示的是百度智能标注的流程,首先需要用户先标注少量的数据,大约每个分类十张图片(建议总训练集在50张以上),接着系统会预先训练出一个模型,用这个模型对数据集中未标注的图片进行识别,然后挑选出其中的“难例”,这里的“难例”是指目前模型还不能正确分类的样本,它们对模型训练有很大的提升作用,系统接着会把“难例”反馈给用户进行人工标注,反复迭代多次之后可以得到效果比较好的标注模型。用户点击结束智能标注流程,然后选择一键标注,就可以让剩下的未标注图片进行自动标注。用智能标注挑选出来的数据训练的模型与全量数据训练出来的模型进行效果对比,智能标注的效果在ACC diff上与全量数据是相当的,但用户总共只标注了30%左右的数据。



    尤晓赫老师在EasyDL数据预处理模块部分主要介绍了数据增强技术。举个例子,假设有一个数据集中含两种品牌的车,分别是品牌A和品牌B,数据集中品牌A的车头是朝向左边的,品牌B的车头都朝向右边,将这些数据输入到网络中进行训练,训练出了一个效果比较好的模型,模型的效果大概是识别准确率95%以上。用这个模型去测试车头朝向右边的品牌A的车,此时这个模型并不能很好识别它,这是很多机器学习算法工作过程中会遇到的问题,因为模型会寻找区分感观类别的最明显的特征,很显然A品牌与B品牌最明显特征就是车头的朝向,所以神经网络好坏有时候受给它的训练数据质量好坏的影响。减少这件事情的发生的方法是减少数据集中不相关的一些特征,对于上面描述的轿车分类模型,简单来讲可以通过增加两种品牌车不同的朝向来减少这种朝向所带给它的影响。但并非所有增强技术都对数据集是有意义的,用户在选择使用哪些增强策略时需要自己了解数据集的特点以及服务应用场景。以车的类型识别为例,如上图所示,它们是同一辆车的照片,但是类型识别可能永远不会用到以这些方向呈现的汽车。如果训练一个模型只是对正常的汽车进行分类,那么只有第二张图片才具有增强效果,而在我们该模型中一定不会出现180度旋转的车辆,这样的数据增强对模型是没有好的效果。但是如果训练的模型是用于处理车祸的模型,此时可能就需要判别车辆是否有翻车的情况,此时第三张图片中的180度旋转的数据增强对模型训练就是有帮衬意义的。基于上面两种情况,第三张图片的180度旋转增强有可能有意义,也有可能没有意义,所以在使用数据增强技术的时候,必须确保不增加不相关的数据。要想在有限的数据样本下尽可能提升模型泛化能力,除了对模型本身进行优化外还有一种方法就是数据增强。要想快速有效构建与数据集的特征特性相关的数据增强策略,就需要使用自动数据增强的功能,EasyDL后端就提供自动数据增强的功能,它结合用户数据集和预定义的一系列增强策略进行自动的搜索,然后产生最佳的增强参数运用到模型训练中,自动生成一些新的图片供给模型进行训练来提高模型的泛化效果。


    在第二部分的最后,尤晓赫老师介绍了模型训练,模型训练过程中使用的技术和优化包括迁移学习、AutoDL、自动超参调优和分布式训练加速,训练过程是基于Paddle Paddle的框架之上的。迁移学习是事先用一个大的数据集训练一个预训练模型,然后接收用户自定义的小数据集对之前的预训练模型进行fine tuning,对其中的网络结构参数进行微调,从而使模型对用户的小数据集更加敏感达到更好的识别效果。AutoDL所做的事情就是用深度学习来设计深度学习。具体来说,随着硬件应用场景和模块多样化,使用到的模型结构也需要不断进化。模型训练另一个优化机制是自动超参调优,人工调参需要设定一组超参数去进行一组实验,然后根据结果再来调整参数,这个过程是非常耗时的,因此需要转向自动调参。自动调参调优涉及超参推荐策略,即根据上一组实验的反馈,推荐出下一组实验的超参值,从而让任务自动化。此外自动超参调优还涉及搜索方式的优化,普通的搜索方式是并行独立搜索,即并行进行多组实验,全部进行完后的数据结果显示哪组结果好就认为哪组参数是最优的;另一种搜索方式叫PBT(基于群体的训练,Population Based Training),它也是并行搜索但不独立。举个例子说明PBT,假设有两个并发的实验分别在worker0和worker1上进行,初始的时候两者的超参数和模型权重都不同,但经过一定模式训练之后对两个worker进行效果对比,发现worker0的效果会比worker1效果要好,这时候PBT就会把worker0的权重和超参数复制到worker1,worker0本身训练是不受影响的,而对于worker1来说,它需要再做一步操作就是对复制过来的worker0的超参数加入一些扰动,使它与worker0的参数有所不同然后再进行训练。这样相当于在训练过程当中,把worker1的原始超参数给过滤掉了,并在好的超参基础上进行进一步的实验,从而加快搜索效率。


    尤晓赫老师接着介绍了在训练效率上优化的加速方法,即DGC深度梯度压缩机制。DGC是由清华大学和斯坦福大学共同发表的论文提出的,因为观测到在分布式训练过程中,各个worker和PS,或者各个worker之间都需要进行大量的梯度数据同步,而数据同步会花费大量带宽,对现代环境要求比较高,同时耗时也高,尤其随着训练节点增多,通信开销也将成倍增长。基于此,DGC挑选出实际有效的梯度数据并进行压缩,从而大大减少分布式训练的途径开销。在论文中,DGC保证在梯度未损失情况下压缩比例达到270—600倍。Paddle Paddle在1.6.2的版本中开始集成了DGC的一些优化机制,百度将它用到了ACDL专业版中。通过对比实验得到在V100 GPU上加速是比较明显的,其中2机2卡单batch加速达到了9倍,2机4卡单batch加速达到了7.4倍。


    最后一部分是EasyDL的实际应用案例,尤晓赫老师简单举了四个案例。第一个是医疗方面的,广州凯惠公司使用EasyDL图像分类建立了基于胸部X线影像的肺癌、肺炎和正常肺部等多种情况的诊断辨别模型,准确率达到90%以上,辅助医生诊断的过程中有效提高医生诊断效率。第二个是制造业方面的,柳州源创公司使用了EasyDL物体检测模型,训练喷油嘴瑕疵检测模型,可节约人工检测成本约60万/年,检验效率提升约30%。第三个是零售行业方面的,自2018年1月起,惠合科技公司使用EasyDL训练商品检测模型,抽取3000家零售门店接入陈列审核,品牌客户在成本和效率上有了显著的改变,人员效率提升超过30%。还有在媒体上一些应用,百度作文小程序通过EasyDL文件分类训练识别出作文中运用了比喻、拟人等修辞的句子,并将修辞句子的数量作为一个参数来对文章质量进行打分,将文章质量高的结果排在前面。


    EasyDL是百度大脑面向企业开发者推出的AI开发平台,提供智能标注、模型训练、服务部署等全流程功能,内置丰富的预训练模型,支持公有云/私有化/设备端等灵活部署方式,已在工业、零售、制造、医疗等领域落地应用。




    第一期 数据挖掘专场

    1. 李国杰院士:理性认识人工智能的“头雁”作用

    2. 百度熊辉教授:大数据智能化人才管理

    3. 清华唐杰教授:网络表示学习理论及应用

    4. 瑞莱智慧刘强博士:深度学习时代的个性化推荐

    5. 清华柴成亮博士:基于人机协作的数据管理


    第二期 自然语言处理专场

    1. 中科院张家俊:面向自然语言生成的同步双向推断模型

    2. 北邮李蕾:关于自动文本摘要的分析与讨论

    3. 百度孙珂:对话技术的产业化应用与问题探讨

    4. 阿里谭继伟:基于序列到序列模型的文本摘要及淘宝的实践

    5. 哈工大刘一佳:通过句法分析看上下文相关词向量


    第三期 计算机视觉专场

    1. 北大彭宇新:跨媒体智能分析与应用

    2. 清华鲁继文:深度强化学习与视觉内容理解

    3. 百度李颖超:百度增强现实技术及应?

    4. 中科院张士峰:基于深度学习的通用物体检测算法对比探索

    5. 港中文李弘扬 :物体检测最新进展


    第四期 语音技术专场

    1. 中科院陶建华:语音技术现状与未来

    2. 清华大学吴及:音频信号的深度学习处理方法

    3. 小米王育军:小爱背后的小米语音技术

    4. 百度康永国:AI 时代的百度语音技术

    5. 中科院刘斌:基于联合对抗增强训练的鲁棒性端到端语音识别


    第五期 量子计算专场

    1. 清华大学翟荟:Discovering Quantum Mechanics with Machine Learning

    2. 南方科技大学鲁大为:量子计算与人工智能的碰撞

    3. 荷兰国家数学和计算机科学中心(CWI)李绎楠:大数据时代下的量子计算

    4. 苏黎世联邦理工学院(ETH)杨宇翔:量子精密测量

    5. 百度段润尧:量子架构——机遇与挑战


    第六期 机器学习专场

    1. 中科院张文生:健康医疗大数据时代的认知计算

    2. 中科院庄福振:基于知识共享的机器学习算法研究及应用

    3. 百度胡晓光:飞桨(PaddlePaddle)核心技术与应用实践

    4. 清华大学王奕森:Adversarial Machine Learning: Attack and Defence

    5. 南京大学赵申宜:SCOPE - Scalable Composite Optimization for Learning


    第七期 自动驾驶专场

    1. 北京大学查红彬:基于数据流处理的SLAM技术

    2. 清华大学邓志东:自动驾驶的“感”与“知” - 挑战与机遇

    3. 百度朱帆:开放时代的自动驾驶 - 百度Apollo计划

    4. 北理宋文杰:时空域下智能车辆未知区域自主导航技术


    第八期 深度学习专场

    1. 中科院文新:深度学习入门基础与学习资源

    2. 中科院陈智能:计算机视觉经典——深度学习与目标检测

    3. 中科院付鹏:深度学习与机器阅读


    第九期 个性化内容推荐专场

    1. 人民大学赵鑫:基于知识与推理的序列化推荐技术研究

    2. 中科院赵军:知识图谱关键技术及其在推荐系统中的应用


    第十期 视频理解与推荐专场

    1. 北京大学袁晓如:智能数据可视分析


    第十一期 信息检索与知识图谱专场

    1. 北京邮电大学邵蓥侠:知识图谱高效嵌入方法

    2. 人民大学徐君:智能搜索中的排序-突破概率排序准则

    3. 百度周景博:POI知识图谱的构建及应用

    4. 百度宋勋超:百度大规模知识图谱构建及智能应用

    5. 百度冯知凡:基于知识图谱的多模认知技术及智能应用


    第十二期 年度特别专场

    1. 复旦大学桂韬:当NLP邂逅Social Media--构建计算机与网络语言的桥梁

    2. 清华大学董胤蓬:Adversarial Robustness of Deep Learning

    3. UIUC罗宇男:AI-assisted Scientific Discovery

    4. 斯坦福应智韬:Graph Neural Network Applications


    第十三期 AI助力疫情攻关线上专场

    1. 清华大学吴及:信息技术助力新冠防控

    2. 北京大学王亚沙:新冠肺炎传播预测模型

    3. 百度黄际洲:时空大数据与AI助力抗击疫情——百度地图的实践与思考

    4. 百度张传明:疫情下的“活”导航是如何炼成的


    留言点赞关注

    我们一起分享AI学习与发展的干货

    如转载,请后台留言,遵守转载规范


  • 在学习与定制AI模型的过程中,开发者会面对各种各样的概念,在深度学习领域,有一个名词正在被越来越频繁地得到关注:迁移学习。它相比效果表

    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    现好的监督学习来说,可以减去大量的枯燥标注过程,简单来说就是在大数据集训练的预训练模型上进行小数据集的迁移,以获得对新数据较好的识别效果,因其能够大量节约新模型开发的成本,在实际应用中被更广泛地关注。EasyDL专业版在最新上线的版本中,就引入了百度超大规模视觉预训练模型,结合迁移学习工具,帮助开发者使用少量数据,快速定制高精度AI模型。

    在训练一个深度学习模型时,通常需要大量的数据,但数据的采集、标注等数据准备过程会耗费大量的人力、金钱和时间成本。为解决此问题,我们可以使用预训练模型。以预训练模型A作为起点,在此基础上进行重新调优,利用预训练模型及它学习的知识来提高其执行另一项任务B的能力,简单来说就是在大数据集训练的预训练模型上进行小数据集的迁移,以获得对新数据较好的识别效果,这就是迁移学习(Transfer Learning)。迁移学习作为一种机器学习方法,广泛应用于各类深度学习任务中。在具体实现迁移学习时,有多种深度网络迁移方法,其中的Fine-tune(微调)是最简单的一种深度网络迁移方法,它主要是将已训练好的模型参数迁移到新的模型来帮助新模型训练。

    在实际应用中,针对一个任务,我们通常不会从头开始训练一个模型,因为这非常耗时耗力,不仅需要大量的计算资源、丰富的经验去保证模型的效果,还需要ImageNet量级(千万级)的数据集保证模型的泛化性,需要支付高昂的成本。因此,一般我们会选择在公开的大数据集上训练收敛、且效果较好的模型,作为预训练权重,在此基础上使用业务数据对模型进行Fine-tune。在Fine-tune时,默认源域(预训练模型)、目标域数据集(用户业务数据集)需要具有较强相关性,即数据同分布,这样我们能利用预训练模型的大量知识储备,快速高效地训练出针对特定业务场景并具有优秀效果的模型。

    但在应用预训练模型到实际场景时,很多用户会面临数据集与源数据集分布不同的问题。比如,预训练模型的数据都是自然风景,但用户的数据集都是动漫人物。类似这种源数据集和目标数据差别较大的问题,在具体应用中较易导致负向迁移

    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    ,具体表现为训练收敛慢,模型效果差等。

    因此,一个包含各类场景、覆盖用户各类需求的超大规模数据集就十分重要,通过这个包罗万象的超大规模数据集训练所得的模型,才能够更好地适应来自各行各业用户的需求,更好地Fine-tune用户的业务数据集,帮助用户在自己的数据集上得到效果更好的模型。

    百度超大规模预训练模型便在此背景下产生,覆盖自然语言处理和视觉两大方向。在自然语言处理方向,百度自研了业界效果最好的预训练模型ERNIE,开创性地将大数据预训练与多源丰富知识相结合,持续学习海量数据中的知识,将机器语义理解水平提升到一个新的高度。ERNIE在中英文的16个任务上已经超越了业界最好模型,全面适用于各类NLP应用场景。目前,EasyDL专业版已预置了领先的预训练模型ERNIE2.0,并配套了多种NLP经典算法网络,支持了文本分类、短文本匹配和序列标注等典型文本处理任务。

    视觉方向,百度自研超大规模视觉预训练模型覆盖图像分类与物体检测两个方向。图像分类的预训练模型,用海量互联网数据,包括10万+的物体类别,6500万的超大规模图像数量,进行大规模训练所得,适应于各类图像分类场景;物体检测的预训练模型,用800+的类别,170万张图片以及1000万+物体框的数据集,进行大规模训练所得,适应于各类物体检测应用场景。相对于普通使用公开数据集训练的预训练模型,在各类数据集上都有不同程度效果提升,模型效果和泛化性都有显著提升。

    (以下实验数据集均来自不同行业)


    图像分类

    在图像分类模型中,使用百度超大规模预训练模型的Resnet50_vd相比普通模型在各类数据集模型效果上平均提升12.76%,使用百度超大规模预训练模型的Resnet101_vd,相比于普通预训

    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    练模型,平均提升13.03%,使用百度超大规模预训练模型的MobilenetV3_large_1x,相比于普通预训练模型,平均提升8.04%。




    并且,在图像分类方向,还新增了11个模型,包括:

    • EffcientNetB0_small

    • EfficientNetB4

    • MobileNetV3_large_x1_0

    • ResNet18_vd

    • ResNeXt101_32x16d_wsl

    • Res2Net101_vd_26w_4s

    • SE_ResNet18_vd

    • Xception71

    还有基于百度超大规模预训练模型训练出来的:

    • ResNet50_vd

    • ResNet101_vd

    • MobileNetV3_large_x1_0

    其中比较特殊的几个模型,EffcientNetB0_small是去掉SE模块的EffcientNetB0,在保证精度变化不大的同时,大幅提升训练和推理速度,ResNeXt101_32x16d_wsl 是基于超大量图片的弱监督预训练模型,准确率高,但预测时间相对增加,Res2Net101_vd_26w_4s则是在单个残差块内进一步构造了分层的残差类连接,比ResNet101准确度更高。

    新增的分类模型的推理时间、效果,以及支持的部署方式如下表所示:


    注:以上模型均基于ImageNet1k分类数据集训练和测试

    更多预置模型,参见EasyDL官网:

    https://ai.baidu.com/ai-doc/EASYDL/0k38n3p16

    更多模型效果,参见PaddleClas:

    https://paddleclas.readthedocs.io/zh_CN/latest/models/models_intro.html

    并且,为了进一步提升图像分类模型的模型效果,在训练层面,图像分类新增了mix_up和label_smoothing功能,可以在单标签分类任务中,根据模型的训练情况选择开启或者关闭。mix_up是一种数据增强方式,它从训练样本中随机抽取了两个样本进行简单的随机加权求和,并保存这个权重,同时样本的标签也对应地用相同的权重加权求和,然后预测结果与加权求和之后的标签求损失,通过混合不同样本的特征,能够减少模型对错误标签的记忆力,增强模型的泛化能力。Label_smoothing是一种正则化的方法,增加了类间的距离,减少了类内的距离,避免模型对预测结果过于confident而导致对真实情况的预测偏移,一定程度上缓解由于label不够soft导致过拟合的问题。


    物体检测

    在物体检测模型中,使用百度超大规模预训练模型的YOLOv3_DarkNet相比普通模型在各类数据集模型效果上平均提升4.53 %,使用百度超大规模预训练模型的Faster_RCNN,相比于普通预训练模型,平均提升1.39%。



    并且,在物体检测方向,新增了Cascade_Rcnn_ResNet50_FPN、YOLOv3_ResNet50vd_DCN、YOLOv3_MobileNetv1网络,以及基于百度超大规模预训练模型训练出来的YOLOv3_Darknet、Faster_R-CNN_ResNet50_FPN,其中,Cascade_Rcnn_ResNet50_FPN通过级联多个检测器以及设置不同IOU的重采样机制,使得检测器的精度、和定位的准确度进一步提升。此外,针对用户的需求,新增两种YOLOv3的变种模型,其中,YOLOv3_MobileNetv1,是将原来的YOLOv3骨架网络替换为MobileNetv1,相比YOLOv3_DarkNet, 新模型在GPU上的推理速度提升约73%。而YOLOv3_ResNet50vd_DCN是将骨架网络更换为ResNet50-VD,相比原生的DarkNet53网络在速度和精度上都有一定的优势,在保证GPU推理速度基本不变的情况下,提升了1%的模型效果,同时,因增加了可形变卷积,对不规则物体的检测效果也有一定的正向提升。

    各检测模型的效果,以及支持的部署方式如下表所示:


    注:以上模型均基于COCO17数据集训练和测试。

    更多预置模型,参见EasyDL官网:

    easydl

    https://ai.baidu.com/ai-doc/EASYDL/0k38n3p16

    更多模型效果,参见PaddleDetection:

    https://github.com/PaddlePaddle/PaddleDetection/blob/release/0.3/docs/MODEL_ZOO_cn.md

    各模型的推理时间如下表所示:


    注:以上模型均基于coco17训练所得。

    更多模型速度详情,参见PaddleDetection:

    https://github.com/PaddlePaddle/PaddleDetection/blob/release/0.3/docs/advanced_tutorials/deploy/BENCHMARK_INFER_cn.md

    百度超大规模视觉预训练模型对比公开数据集训练的预训练模型,效果提升明显,目前这些模型已经预置在EasyDL专业版中正式发布。EasyDL专业版是飞桨企业版零门槛AI开发平台EasyDL,面向专业算法工程师群体,专门推出的AI模型开发与服务平台。支持视觉及自然语言处理两大技术方向,可灵活支持脚本调参及Notebook两类开发方式,预置了几十种经典网络和百度海量数据训练的预训练模型,模型效果在业界保持领先,同时支持公有云/私有化/设备端等灵活的部署方案,开发效率高、训练速度快,同时设备端轻量级部署和加速方案使得显存占用更少,预测速度更快。

    开发者可以搜索进入EasyDL平台,选择专业版,选择【新建任务】-【配置任务】-【选择预训练模型】处选择【百度超大规模数据集 通用分类与训练模型】


    EasyDL零门槛AI开发平台,面向AI开发全流程提供灵活易用的一站式平台方案。包含了AI开发过程中的三大流程:数据服务、训练与开发、模型部署。

    在数据服务上,刚刚上线的EasyData智能数据服务平台覆盖了数据采集、管理、清洗、标注、安全,并支持接入EasyDL进行训练,在模型训练部署之后,在云服务授权的前提下完成数据

    http://www.jsyunjun.com/file/upload/tt1999/999.jpg

    回流,查找识别错误的数据,纠正结果并将其加入模型迭代的训练集,实现训练数据的持续丰富和模型效果的持续优化。EasyData是业内首家推出了软硬一体、端云协同自动数据采集方案的平台,有离线视频数据采集的用户,可以下载EasyData的数据采集SDK,通过定时拍照、视频抽帧等方式,实时统计到云端进行处理。

    在训练与开发上,除了刚刚提到的大规模预训练模型来提升模型性能,EasyDL还采用了AutoDL自动搜索最优网络、自动超参搜索、自动数据增强、分布式训练加速等丰富的训练机制,提升模型的训练效果和训练速度。

    在模型部署上,EasyDL提供端云协同的多种灵活部署方式,包括公有云API、设备端SDK、本地服务器部署、软硬一体产品。值得关注的是,在EasyDL软硬一体产品矩阵方案中,提供了六款软硬一体方案,覆盖超高性能,高性能和低成本小功耗三种不同形态,满足开发者的各类业务需求,已经在几十个行业上百个场景中落地应用。更多软硬一体方案信息,可以查看:

    https://ai.baidu.com/easydl/solution

    点击进入EasyDL专业版,感受预训练模型的强大效果吧!


  • 阅读全文
    分享