神經(jīng)網(wǎng)絡(luò)都是在后端服務(wù)器上進(jìn)行數(shù)據(jù)處理與識別,針對服務(wù)器壓力日益增加的問題,提出基于稀疏化神經(jīng)網(wǎng)絡(luò)在微控制器芯片上實(shí)現(xiàn)數(shù)據(jù)處理與前端識別。微控制器芯片不依賴操作系統(tǒng),Arm FuSa RTS保證了微控制器的高穩(wěn)定性和低功耗。利用CMSIS-NN在微控制器芯片上搭建與服務(wù)器上相同的稀疏化卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型,然后把服務(wù)器上訓(xùn)練的經(jīng)驗(yàn)值移植到微控制芯片上。經(jīng)實(shí)驗(yàn)對比在微控制器和服務(wù)器上稀疏化CNN的識別準(zhǔn)確率,結(jié)果顯示準(zhǔn)確率基本保持一致。因此在微控制芯片上搭建稀疏化神經(jīng)網(wǎng)絡(luò)可有效解決網(wǎng)絡(luò)帶寬和服務(wù)器壓力過大等問題。

【文章頁數(shù)】：6 頁

【部分圖文】：

圖1M-P神經(jīng)元數(shù)學(xué)模型

神經(jīng)網(wǎng)絡(luò)最簡單的數(shù)學(xué)模型是1943年提出的McClloch-Pitts神經(jīng)元模型，M-P神經(jīng)元模型如圖1所示。由圖1可知，M-P神經(jīng)元模型有m個(gè)輸入信號，x經(jīng)過各自相應(yīng)的權(quán)重Wm傳至神經(jīng)元，經(jīng)過求和后得到E=∑WixEi。將E與閾值T進(jìn)行比較，當(dāng)E>T時(shí)，信號通過激活函數(shù)被激活....

圖2正向傳播過程

y1和y2經(jīng)過激活函數(shù)ReLU有：經(jīng)過激活函數(shù)后分別得到輸出值out1和out2。經(jīng)過上述過程，輸入圖像完成了前向傳播。但得到的輸出值out往往與期望值tar相差巨大，這時(shí)要對誤差進(jìn)行反向傳播，更新權(quán)重值。

圖3基于微控制器Cortex-M的神經(jīng)網(wǎng)絡(luò)

基于微控制器Cortex-M的神經(jīng)網(wǎng)絡(luò)如圖3所示，首先在訓(xùn)練機(jī)上利用Python基于TensorFlow搭建神經(jīng)網(wǎng)絡(luò)模型，通過數(shù)據(jù)庫進(jìn)行初步學(xué)習(xí)，根據(jù)識別效果調(diào)整網(wǎng)絡(luò)模型或參數(shù)，達(dá)到預(yù)期效果后固定其網(wǎng)絡(luò)模型及參數(shù)，在Cortex-M系列開發(fā)板上基于ARM的CMSIS-NN搭建與....

圖4稀疏化神經(jīng)網(wǎng)絡(luò)流程圖

稀疏化神經(jīng)網(wǎng)絡(luò)流程如圖4所示。首先對搭建的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，根據(jù)利用降維矩陣DLm對已訓(xùn)練好的網(wǎng)絡(luò)的每一層權(quán)值進(jìn)行處理，連接較弱的權(quán)值將被丟棄，連接強(qiáng)的權(quán)值保留。根據(jù)神經(jīng)元間的相關(guān)性系數(shù)和稀疏度計(jì)算降維矩陣[6]。當(dāng)每一層Lm被稀疏化后，由網(wǎng)絡(luò)Nm-1結(jié)構(gòu)和權(quán)值初始化新的網(wǎng)絡(luò)模型....

本文編號：3998853