面向图像语义分割的多类型卷积加速器设计
中国电子科技集团第五十八研究所，江苏 无锡 214035
史兴强，强小燕，巩凯，邢梦菲
摘要： 图像语义分割网络为了提升精度常采用结构复杂的卷积层作为基础的特征提取单元，这类卷积层存在的不同类型卷积增加了对网络并行加速计算的难度。针对语义分割网络不同类型的卷积的加速计算需求，提出一种基于FPGA的面向多类型卷积的并行计算加速器。首先对卷积的计算原理进行分析，然后根据不同卷积类型的基本运算原理构建多乘法并行计算的处理单元，并通过多处理单元并行、数据重用以及PIPELINE方法对卷积进行加速计算。实验结果表明，对于特定尺寸的特征图，使用所提的卷积加速器设计方法最多可以达到113倍的速度提升。
关键词：图像语义分割；多类型卷积；FPGA；计算加速
中圖分類號：TP391 文獻標志碼：A DOI: 10.16157/j.issn.0258-7998.234591
中文引用格式： 史興強，強小燕，鞏凱，等. 面向圖像語義分割的多類型卷積加速器設計[J]. 電子技術應用，2023，49(12)：26-30.
英文引用格式： Shi Xingqiang，Qiang Xiaoyan，Gong Kai，et al. Design of multi type convolution accelerator for image semantic segmentation[J]. Application of Electronic Technique，2023，49(12)：26-30.
中文引用格式： 史興強，強小燕，鞏凱，等. 面向圖像語義分割的多類型卷積加速器設計[J]. 電子技術應用，2023，49(12)：26-30.
英文引用格式： Shi Xingqiang，Qiang Xiaoyan，Gong Kai，et al. Design of multi type convolution accelerator for image semantic segmentation[J]. Application of Electronic Technique，2023，49(12)：26-30.
Design of multi type convolution accelerator for image semantic segmentation
Shi Xingqiang，Qiang Xiaoyan，Gong Kai，Xing Mengfei
No.58 Research Institute of China Electronics Technology Group Corporation， Wuxi 214035， China
Abstract： In order to improve accuracy, image semantic segmentation networks often use complex convolutional layers as the basic feature extraction units. The different types of convolutions present in these convolutional layers increase the difficulty of parallel acceleration computation for the network. A parallel computing accelerator based on FPGA for multi type convolutions is proposed to meet the accelerated computing requirements of different types of convolutions in semantic segmentation networks. Firstly, the calculation principle of convolution is analyzed. Then, based on the basic operation principles of different convolution types, a processing unit for multi multiplication parallel computing is constructed. The convolution is accelerated through multi processing unit parallelism, data reuse, and PIPELINE method. The experimental results show that for specific size feature maps, using the proposed convolutional accelerator design method can achieve a maximum speed increase of 113 times.
Key words : image semantic segmentation；multi type convolutions；FPGA；computational acceleration
0 引言
圖像語義分割是將圖像的每個像素分類為一個實例[1]。該技術是場景理解的基礎性技術[2]，在自動駕駛[3-5]、人機交互[6]、計算攝影[7]、圖像搜索引擎[8]以及醫學圖像研究[9-11]中起到重要作用。隨著深度學習發展，基于CNN的圖像語義分割方法逐漸成為圖像語義分割的主流[12]。
圖像語義分割在嵌入式邊緣端有著廣闊的應用前景，但是嵌入式邊緣設備的處理核心多是基于精簡指令集的微處理器，由于順序數據處理方式的限制，使得網絡中的計算無法高效并行完成。為了提升網絡在嵌入式邊緣端處理效率，在嵌入式邊緣端對CNN進行加速的研究受到廣泛關注，出現了大量基于高性能計算處理器的網絡加速方法[13-16]。其中，FPGA由于內部包含有大量的可編程邏輯資源，可以構建高并行的計算結構，在較低工作時鐘頻率下仍能實現較高的算法處理速度，可以滿足功耗受限的嵌入式邊緣端應用的需求，成為嵌入式邊緣端網絡推理加速的主流硬件加速器之一。但是，當前基于FPGA的深度學習推理加速方法主要面向以單一標準卷積構建的神經網絡，而為了提升語義分割的精度以及減少語義分割的計算量，出現了空洞卷積、點卷積、深度卷積和標準卷積等多種卷積運算，需要設計能夠支持多種類型卷積的加速器。
針對以上問題，本文提出一種基于FPGA的多類型卷積加速器設計方法，并通過對不同并行度和不同計算結構的加速器進行對比實驗，驗證加速器設計方法的有效性。
本文詳細內容請下載：http://m.tom3567.com/resource/share/2000005801
作者信息
史興強，強小燕，鞏凱，邢夢菲
（中國電子科技集團第五十八研究所，江蘇 無錫 214035）
此內容為AET網站原創，未經授權禁止轉載。