自动化构建移动端神经网络的技术研究
2020年电子技术应用第12期
宋存洋，李 欣
中国电子科技集团公司第二十八研究所，江苏 南京210007
摘要： 深度学习已在视觉、语音、自然语言等应用领域取得巨大成功，然而随着网络结构日趋复杂，神经网络参数量也迅速增长，设计网络结构和调节参数这一过程需要大量的专业知识与反复试验，成本极高。此外，由于功耗限制与存储空间等因素，移动端设备上的神经网络模型规模受限。设计了一种高效的移动端神经网络架构搜索算法，具体包括：(1)设计了一种在预先给定神经网络架构的情况下可以自动计算模型浮点数运算次数的算法；(2)改进现有的基于梯度的神经网络架构搜索算法，设计了一种带约束的架构搜索算法；(3)在神经网络架构搜索过程中加入对浮点数运算次数的约束，通过调节约束的强弱搜索到几种不同的神经网络架构。训练搜索到的神经网络，测试其在图像分类任务上的性能，并与工业界常用的模型相比较。实验结果表明，该方法搜索到的模型能达到目前工业界主流模型性能。
中圖分類號： TN919.3+1
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.200835
中文引用格式： 宋存洋，李欣. 自動化構建移動端神經網絡的技術研究[J].電子技術應用，2020，46(12)：83-88.
英文引用格式： Song Cunyang，Li Xin. Research on the technology of automatic construction of mobile terminal neural networks[J]. Application of Electronic Technique，2020，46(12)：83-88.
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.200835
中文引用格式： 宋存洋，李欣. 自動化構建移動端神經網絡的技術研究[J].電子技術應用，2020，46(12)：83-88.
英文引用格式： Song Cunyang，Li Xin. Research on the technology of automatic construction of mobile terminal neural networks[J]. Application of Electronic Technique，2020，46(12)：83-88.
Research on the technology of automatic construction of mobile terminal neural networks
Song Cunyang，Li Xin
The 28th Research Institute of China Electronics Technology Corporation，Nanjing 210007，China
Abstract： Deep learning has achieved great success in many areas such as computer vision, speech signal processing and natural language processing. However, as the neural architecture becomes more complex, the number of parameters increases rapidly. Designing efficient neural architectures requires expertise knowledge and quantities of repetitive experiments, which leads to high cost. Besides, the scale of neural networks running in mobile devices is strictly limited due to the power consumption limit and relatively small storage space. This paper proposes an efficient architecture searching algorithm for mobile devices. The main contributions include:(1)We propose an algorithm for calculating the number of floating point operations in neural networks under given architecture.(2)We improve an existing gradient based neural architecture search algorithm and propose a constraint NAS algorithm.(3)We search several efficient neural architectures by adding the constraint of the number of floating point operations to the architecture searching process and adjusting its strength. We train the searched neural networks, test their performance on image classification tasks and compare with other neural networks which are commonly used in industry. The experimental results show that the performance of the model searched by our method can reach the performance of mainstream models in industry.
Key words : lightweight neural network；convolution；model constraint；neural architecture search
0 引言
自AlexNet以巨大的優勢在ImageNet圖像識別比賽中奪冠后，深度學習在視覺、語音、自然語言處理等方面取得了飛速的進展和巨大的成功。深度學習發展主要依賴于算力的提升和算法的進步。算力的提升主要在于GPU、TPU等硬件的應用與發展；而算法的進步多種多樣，例如優化方法的改進、激活函數的選擇等。本文主要關注于使用神經網絡架構搜索的方法構建輕量級神經網絡，主要工作包括：
(1)設計了一種自動計算模型浮點數運算次數的算法。浮點數運算次數是反映神經網絡規模與運行速度的一個重要指標，也是一個動態的過程，可以看作架構參數的函數，除了具體的數值外，本文還計算了其對架構參數的偏導數。
(2)基于梯度的神經網絡架構搜索，改進設計了一種帶約束的架構搜索方法。在實際任務中，為了使模型能運行在特定設備上，通常對模型的規模或運行速度等有一定的要求。不加約束的搜索，得到的模型很可能不滿足要求。本文實現的約束算法并不限于某一種特定約束，而是實現了一種接口，加入了對模型運行時延、模型規模多種不同的約束。
(3)利用帶有浮點數運算次數約束的架構搜索算法，搜索到幾種高性能神經網絡架構。在幾個公開數據集上測試并對比其在圖像分類任務上的準確率，并與工業界常用的神經網絡模型進行比較。
本文詳細內容請下載：http://m.tom3567.com/resource/share/2000003259
作者信息：
宋存洋，李 欣
(中國電子科技集團公司第二十八研究所，江蘇 南京210007)
此內容為AET網站原創，未經授權禁止轉載。