近年來,深度學(xué)習(xí)技術(shù)獲得了飛速的發(fā)展,并逐漸應(yīng)用在計算自視覺、自然語言處理等諸多領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)的一個主要研究分支,在很多的分類、檢測和分割等任務(wù)上都取得了優(yōu)于傳統(tǒng)方法的表現(xiàn)效果。然而,卷積神經(jīng)網(wǎng)絡(luò)的成功是通過龐大的參數(shù)組合形成的,多種多樣的卷積核相堆疊保證其能提取出豐富多樣的有代表性的特征。這也就表明了卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)行需要很好的硬件條件做支撐,這種硬件限制使得神經(jīng)網(wǎng)絡(luò)只能停留在實驗室中,無法運(yùn)行在存儲量和運(yùn)算能力較低的移動設(shè)備上。實際上網(wǎng)絡(luò)存在大量的參數(shù)冗余,本文針對深度神經(jīng)網(wǎng)絡(luò)的模型壓縮與優(yōu)化加速展開研究,主要工作有:針對迭代剪枝容易產(chǎn)生累積誤差的問題,提出了一種基于敏感度的逐層剪枝算法。我們首先考慮單個卷積層對整體網(wǎng)絡(luò)性能的影響程度,定義了卷積層敏感度的概念,定量衡量每個卷積層的敏感度。基于此,不同剪枝率下的剪枝次序?qū)凑债?dāng)前狀態(tài)下的低敏感度卷積層到高敏感度卷積層進(jìn)行,并且跨層剪枝之間采用了貪心剪枝的方法。該算法能夠大大減少單層剪枝之后對網(wǎng)絡(luò)的損耗,并且后序迭代剪枝也能在一個較高水平的網(wǎng)絡(luò)性能上進(jìn)行,避免了迭代剪枝誤差放大的問題。在LeNet-5和AlexNet...

【文章頁數(shù)】：86 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖3-8CIFAR10數(shù)據(jù)集10個類別的樣本數(shù)據(jù)

電子科技大學(xué)碩士學(xué)位論文圖3-7MNIST數(shù)據(jù)集10個類別的樣本數(shù)據(jù)上圖所示為MNIST數(shù)據(jù)集中0-9共10類樣本中的數(shù)據(jù)展示，在MNIST數(shù)據(jù)集中每張圖片都是由28×28個像素點(diǎn)構(gòu)成，且都為單通道的二值圖像，沒有太多干擾信息。在原始的壓縮文件中保存形式為728維向量，使用時我們....

本文編號：3999644