alexnet網(wǎng)絡(luò )結構是絡(luò )結什么？

AlexNet網(wǎng)絡(luò )，是絡(luò )結2012年ImageNet競賽冠軍獲得者H??inton和他的學(xué)生Alex Krizhevsky設計的。在那年之后??，絡(luò )結更多的絡(luò )結更深的神經(jīng)網(wǎng)路被提出，??比如優(yōu)秀??的絡(luò )結vgg,Goog(?Д?)leLeNet。其官方提供的絡(luò )結數據模型，準確率達到57.1%,絡(luò )結top 1-5 達到80.2%. 這項對于傳統的機??器學(xué)習分類(lèi)算法而言，已經(jīng)相當的絡(luò )結出色.

網(wǎng)絡(luò )結構解析

affe中alexnet的網(wǎng)絡(luò )結構，采用是絡(luò )結兩臺GPU服務(wù)器，所有會(huì )看到兩個(gè)流程圖。絡(luò )結AlexNet的絡(luò )結網(wǎng)絡(luò )模型解讀如下表：

解讀如下:

第一層：卷積層1，輸入為(?Д?) 224×224×3 224 imes 224 imes 3224×224×3的絡(luò )結圖像，卷積核的絡(luò )??結數量為96，論文中兩片GPU分別計算48個(gè)核; 卷積核的絡(luò )結大小為 11×11×??3 11 imes 11 imes 311×11×3; stride = 4, stride表示的是步長(cháng)， pad = 0,絡(luò )結 表示不擴充邊緣;卷積后的圖形大小是怎樣的呢？??wide = (224 + 2 * padding - kernel_size) / stride + 1 = 54height = (224 + 2 * padding - kernel_size) / stride + 1 = 54dimention = 96然后進(jìn)行 (Local Response Normalized), 后面跟著(zhù)池化pool_size = (3, 3), stride = 2, pad = 0 最終獲得第一層卷積的feature map最終第一層卷積的輸出為第二層：卷積層2, 輸入為上一層卷積的feature map??， 卷積的個(gè)數為256個(gè)，論文中的兩個(gè)GPU分別有128個(gè)卷積核。卷積核的大小為：5×5×48 5 imes 5 imes 485×5&t(╯‵□′)╯imes;48; pad = 2, stride = 1; 然后做?? LRN， 最后 max_poo???lin???g, pool_size = (3, 3), stride = 2;第三層(′?_?`)：卷積3, 輸入為第二層的輸出，卷積核個(gè)數為384, kernel_size = (3×3×256 3 imes 3 imes 2563×3×25??6)， padding = 1, 第三(???)層沒(méi)有做LRN和Po??ol第四層：卷積4, 輸入為第三層的輸出，卷積核??個(gè)數為38(′?ω?`)4, kernel_size = (3×3 3 imes 33×3), padding = 1, 和第三層一樣( ???)，沒(méi)有LRN和Pool第五層：卷積??5, 輸入為第四層的輸出，卷積核個(gè)數為256, kerヽ(′▽?zhuān)?ノnel_size = (3×3 3 imes 33×3), padding = 1。然后直接進(jìn)行max_pooling, pool_??sizヽ(′▽?zhuān)?ノe = (3, 3), stride?? = 2;第6,7,8層是全連接層，每一層的神經(jīng)元的個(gè)數為(wei)4096，最終輸出softm(╯‵□′)╯ax為1000,因(′?_?`)為上面介紹過(guò)，ImageNet這個(gè)比賽的分類(lèi)個(gè)數為1000。??全連接層中使用了RELU和Dropout。

pyth??on3 draw_net.py --rankdir TB ../models/bvlc_??alexnet/train_val.prototxt AlexNet_structure.jpg

算法創(chuàng )新點(diǎn)

（1）成功使用ReLU作為CNN的激活函??數，(′?_?`)并驗證其效果在較深的網(wǎng)絡(luò )超過(guò)了Sigmoid，成功解決了Sigmoid在網(wǎng)絡(luò )較深時(shí)的梯度彌散問(wèn)題。雖然Reヾ(?■_■)ノLU激活函數在很久之前就被提出了，但是直到AlexNet的出現才將其發(fā)ヽ(′ー｀)ノ揚光大。

（2）訓練時(shí)使用Dropout隨機忽略一部分神經(jīng)元，以避免模型過(guò)擬合。Dropout雖有單獨的論文論述，但是AlexNet將其實(shí)用化，通過(guò)實(shí)踐證實(shí)了它的效果。在A(yíng)lex??Net中主要是最后幾個(gè)全連接層使用了Dropout。

（3）在CNN中使用重疊的最大池化。此前CNN中普遍使用平??均池化，AlexNet全部使用最?大池化，避免平均池化的(de)模糊化效果。并且AlexNet中提出讓步長(cháng)比池化核的尺寸小，這樣池化層的??輸出之間會(huì )有重疊和覆蓋，提升ヽ(′▽?zhuān)?ノ了特征的豐富性。

（4）提出了LRN層，對局部神經(jīng)元的活動(dòng)創(chuàng )建競爭機制，使得其中??響應比較大的值變得( ?ヮ?)相對更大，并抑制其他反饋較小的神經(jīng)元(′▽?zhuān)?，增強了模型的泛化能力。

（5）多GPU訓練,可以增大網(wǎng)絡(luò )訓(◎_◎;)練規模.

（6）百萬(wàn)級ImageNet數據圖像輸入.在A(yíng)lexNet用到的Data Augm??entation方式有三種:

平移變換(crop);

反射變(????)換(flip);

光照和彩色變換(color jittering):先對圖片進(jìn)行(°ロ°) !隨機平移,然后(′ω｀*)水平翻轉.測試時(shí),先對左上,右上,左下,右下和中間做5次平移變換,然后翻轉之后對結果求平均.

歸納總結為：

使用ReLU激活函數；

提出Dropout防止過(guò)擬合；

使用數據擴充增強數據集(ji)(Data augment(╯°□°)╯ation??)；

水平翻轉圖像、隨機裁剪、平移變換、顏色變換、光照變換等

將上層的(de)結果按照通道維度拆分為2份，分別送入2個(gè)GPU，如上一層輸出的27×27×96的像素層（被分成兩組27&time???(′?ω?`)s;27×48的像素層放在兩個(gè)不同GPU中進(jìn)行運算）；

LRN局部歸一化的使用；

Caffe框架下訓練

準備數據集，修改Al??exnet網(wǎng)絡(luò )的train.prototxt，配置solver，deploy.prototxt文件，新建train.sh腳本，即可開(kāi)始訓練。