改進的卷積神經(jīng)網(wǎng)絡模型及其應用研究.pdf

1、卷積神經(jīng)網(wǎng)絡屬于深度學習架構(gòu)，其采用了局部連接、權(quán)值共享和子采樣操作，使得需要訓練的權(quán)值參數(shù)減少，因此，卷積神經(jīng)網(wǎng)絡可以在層數(shù)較多的情況下，仍然具有良好的表現(xiàn)。除此之外，卷積神經(jīng)網(wǎng)絡還有平移、縮放不變性等諸多優(yōu)點。到目前為止，卷積神經(jīng)網(wǎng)絡已經(jīng)應用在了多個領(lǐng)域并取得了巨大的成功，但是卷積神經(jīng)網(wǎng)絡的發(fā)展仍然存在以下問題:
　　研究表明，激活函數(shù)對于網(wǎng)絡性能有著十分重要的影響，但激活函數(shù)的選擇卻十分困難。目前主要通過經(jīng)驗或者試驗從一些人

2、工設(shè)計的激活函數(shù)中選擇出合適的激活函數(shù)。通過經(jīng)驗來進行選擇時，一方面經(jīng)驗可能不準確，另一方面很可能沒有經(jīng)驗可以借鑒;而通過試驗確定時，又因為同時存在訓練算法的其他參數(shù)需要選擇，而這都需要采用交叉驗證來確定，造成了確定最佳激活函數(shù)和參數(shù)的時間大大增加，給試驗帶來了很大的不便。針對激活函數(shù)選擇困難的問題，本文在maxout的基礎(chǔ)上，提出了稀疏maxout卷積神經(jīng)網(wǎng)絡，解決了激活函數(shù)選擇難的問題并改善了maxout卷積神經(jīng)網(wǎng)絡性能。
　

3、　卷積神經(jīng)網(wǎng)絡的學習方式，在一般情況下，會采用有監(jiān)督的學習或者逐層無監(jiān)督學習方式。逐層無監(jiān)督學習存在訓練繁瑣，時間較長，且訓練得到的特征與具體任務不相關(guān)等問題;而有監(jiān)督的學習存在梯度彌散，訓練樣本不足等問題。針對上述問題，本文將有監(jiān)督學習和無監(jiān)督學習算法結(jié)合起來，提出了基于k-means的卷積神經(jīng)網(wǎng)絡，并且將該網(wǎng)絡應用到了交通標志識別任務中。
　　本文主要工作包括以下三個方面:1，針對激活函數(shù)選擇困難的問題，提出了稀疏maxout

4、卷積神經(jīng)網(wǎng)絡，并在手寫數(shù)字字體MNIST數(shù)據(jù)集和CIFAR-10數(shù)據(jù)集上進行性能測試。試驗結(jié)果表明，稀疏maxout卷積神經(jīng)網(wǎng)絡測試正確率高于maxout卷積神經(jīng)網(wǎng)絡，性能穩(wěn)定性優(yōu)于后者。2，針對卷積神經(jīng)網(wǎng)絡學習方法上存在的問題，提出了基于k-means的卷積神經(jīng)網(wǎng)絡，并在手寫數(shù)字字體MNIST數(shù)據(jù)集和CIFAR-10數(shù)據(jù)集上進行性能測試，并與其他算法進行了對比，試驗結(jié)果表明，在規(guī)模相當?shù)那闆r下，基于k-means的卷積神經(jīng)網(wǎng)絡在測試集