基于DenseNet和深度运动图的行为识别算法
2020年信息技术与网络安全第1期
张健，张永辉，何京璇
（海南大学，海南 海口 570228）
摘要： 结合深度信息以及RGB视频序列中丰富的纹理信息，提出了一种基于DenseNet和深度运动图像的人体行为识别算法。该算法基于DenseNet网络结构，首先获取彩色纹理信息和光流信息，然后从同步的深度视频序列获取深度信息，以增强特征互补性；再将空间流、时间流和深度流三种特征信息分别作为网络的输入；最后通过LSTMs进行特征融合和行为分类。实验结果表明，在公开的动作识别库UTDMHAD数据集上，该算法识别准确率为 92.11%，与该领域中的同类算法相比表现优异。
中圖分類號：TP391.4
文獻標識碼：A
DOI： 10.19358/j.issn.2096-5133.2020.01.012
引用格式：張健，張永輝，何京璇。基于DenseNet和深度運動圖的行為識別算法［J］。信息技術與網絡安全，2020,39（1）：63-69.
文獻標識碼：A
DOI： 10.19358/j.issn.2096-5133.2020.01.012
引用格式：張健，張永輝，何京璇。基于DenseNet和深度運動圖的行為識別算法［J］。信息技術與網絡安全，2020,39（1）：63-69.
Action recognition algorithm based on DenseNet and depth motion map
Zhang Jian,Zhang Yonghui,He Jingxuan
（Hainan University,Haikou 570228,China）
Abstract： This paper proposes a human behavior recognition algorithm based on DenseNet and DMM,which integrates depth information and rich texture information in RGB video sequence.Based on the DenseNet network structure,the algorithm firstly obtains color texture information and optical flow information,and then obtains depth information from synchronous depth video sequence to enhance feature complementarity.Three kinds of characteristic information are used as the input of spatial flow network,temporal flow network and deep flow network.Then LSTMs is used for feature fusion and behavior classification.Experimental results show that the recognition rate of UTDMHAD data set is 92.11%,which is an excellent performance compared with similar algorithms in this field.
Key words : action recognition;depth motion maps;DenseNet;optical flow
0 引言
近年來，有關人體行為識別的研究層出不窮，現如今已成為計算機視覺研究中日益關注的熱點。其中，對視頻中目標的行為識別一直以來都是一個非常活躍的研究領域。雖然在對于靜止圖像識別的研究上取得了很大的成功，但是對視頻類的行為識別如今仍是一個富有挑戰性的課題。
在行為識別領域中，卷積神經網絡得到了廣泛的應用。早期的研究人員主要嘗試融合光流與RGB視頻幀來提高行為識別準確率。RGB視頻內的細節信息非常豐富，但缺乏深度信息，其識別準確率常常受光照變化、陰影、物體遮擋等因素的干擾。如文獻［2］在2014年首次提出了創造性的雙流網絡，通過從RGB視頻序列提取時空信息進行識別；文獻［3］用基于長短期記憶的多尺度卷積神經網絡來提取多層次表觀特征，從而學習長周期的高層時空特征；文獻［4］使用在ImageNet上進行預訓練的DenseNet來搭建雙流卷積神經網絡，從中提取空間和時間特征，然后微調來進行單幀活動預測。
本文詳細內容請下載：http://m.tom3567.com/resource/share/2000003117
作者信息：
張健，張永輝，何京璇
（海南大學，海南 海口 570228）
此內容為AET網站原創，未經授權禁止轉載。