为DNN“科学瘦身”!暗物智能前沿技术入选ECCV 2020 Oral
2020-08-12

面对琳琅满目的美食,想要尽情享用,但又要保持身材?这是一个长期困扰无数吃货的问题。

而在人工智能领域,类似的问题也让研究者们焦头烂额:当前广泛运用的深度神经网络模型(DNN)已经被海量数据“喂养”得日渐“臃肿”,在成本和效率上都对AI研究的可持续发展提出了严峻挑战。

如何让模型在保持性能的前提下“科学瘦身”?暗物智能科技(以下简称“暗物智能”)研究团队通过创新的剪(减)枝(脂)算法,让DNN在海量数据的“喂养”下也能保持身材,实现效率和精度的全面优化。该研究成果已入选为ECCV 2020 Oral论文。

ECCV是计算机视觉三大国际顶级会议之一。今年ECCV共收到有效投稿5025篇,最终被接收发表论文1361篇,接收率仅为27%,而Oral论文数只有104篇,占有效投稿总数的2%。

暗物智能此次入选的Oral论文《EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning》提出了一种性能极高的剪枝算法“鹰眼(EagleEye)”。该研究成果由暗物智能研究副总监苏江博士与高级研究员李百林领衔,联合中山大学团队共同完成。

论文链接:
https://arxiv.org/abs/2007.02491

开源代码链接:

github.com/anonymous47823493/EagleEye

研究指出,现有的深度模型压缩方法往往由于最优“子结构”的搜索空间非常庞大,导致剪枝效率低下,并且在搜索剪枝策略时所采用的评估模块在效率和精准度上均存在不同程度的问题。

针对现有算法的局限,论文提出了一种高效的搜索出最优子网络的方法。通过自适应批归一化(Adaptive Bach Normalization)快速、高效评估剪枝子网络,最终收敛于更高的模型精度,并据此提出了EagleEye算法。

EagleEye主要包含3个模块:策略生成、通道裁剪、自适应批归一化评估模块。

与其他基于重型评估的算法相比,EagleEye的评估过程更加高效,使得整个剪枝策略过程十分快速。而权威数据集上的实验表明,EagleEye在高效性和精确度方面均取得了更好的效果,相同条件下得到的模型精度均为目前最优。


想知道更多关于“鹰眼”的细节?

下一个边缘AI有效算力10倍+提升从何而来?

明天(8月13日)

暗物智能将联合机器之心,邀请苏江博士线上分享这篇Oral高分论文。

赶紧戳海报二维码参与吧!

上一篇
DMAI与沈向洋的“炉边谈话”
下一篇
视觉智能的未来:从感知到认知的产业实践