1.解密深度學(xué)習(xí)

　　1.1.人工智能的發(fā)展一直隨同人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展而起伏

　　整個(gè)人工智能發(fā)展歷史，幾乎一直隨同人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展而起起伏伏。近期引發(fā)人工智能新一輪熱潮的深度學(xué)習(xí)，其名稱(chēng)中的“深度”某種意義上就是指人工神經(jīng)網(wǎng)絡(luò)的層數(shù)，深度學(xué)習(xí)本質(zhì)上是基于多層人工神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)算法。

　　1.2.什么是人工神經(jīng)網(wǎng)絡(luò)

　　人類(lèi)大腦神經(jīng)的信息活動(dòng)與目前的計(jì)算機(jī)相比有三個(gè)不同的特性：

　　第一，巨量并行和容錯(cuò)特性。人腦約有1000億個(gè)神經(jīng)元，神經(jīng)元之間約有上萬(wàn)億的突觸連接，形成了迷宮般的網(wǎng)絡(luò)連接，大量的神經(jīng)元信息活動(dòng)是同時(shí)進(jìn)行的，而非目前計(jì)算機(jī)按照指令一條條執(zhí)行。此外人腦的這種巨量并行特性也使得其具有極好的容錯(cuò)特性，壞掉一個(gè)晶體管就能毀掉一塊微處理器，但是大腦的神經(jīng)元每時(shí)每刻都在死亡。

　　第二，信息處理和存儲(chǔ)單元結(jié)合在一起。目前計(jì)算機(jī)普遍采用馮洛伊曼架構(gòu)，存儲(chǔ)器和處理器分離，通過(guò)總線傳遞數(shù)據(jù)。隨著處理的數(shù)據(jù)量海量地增長(zhǎng)，總線有限的數(shù)據(jù)傳輸速率被稱(chēng)為“馮·諾依曼瓶頸”，嚴(yán)重影響計(jì)算機(jī)的計(jì)算效率和功耗，人腦信息處理和存儲(chǔ)單元結(jié)合在一起，擁有極低的功耗（約20W左右）。

　　第三，自組織自學(xué)習(xí)功能。大腦在與外界互動(dòng)的同時(shí)也會(huì)進(jìn)行學(xué)習(xí)和改變，而不是像現(xiàn)在計(jì)算機(jī)遵循預(yù)設(shè)算法的固定路徑和分支運(yùn)行。

　　基于以上幾點(diǎn)不同，人們一直嘗試模仿人類(lèi)大腦神經(jīng)元的信息活動(dòng)機(jī)制來(lái)設(shè)計(jì)算法：信號(hào)通過(guò)突觸進(jìn)入神經(jīng)元細(xì)胞，神經(jīng)細(xì)胞利用一種方式把所有從樹(shù)突上突觸進(jìn)來(lái)的信號(hào)進(jìn)行相加，如果全部信號(hào)的總和超過(guò)某個(gè)閥值，就會(huì)激發(fā)神經(jīng)元細(xì)胞進(jìn)入興奮狀態(tài)，這時(shí)就會(huì)有一個(gè)電信號(hào)通過(guò)軸突發(fā)送出去給其他神經(jīng)細(xì)胞。如果信號(hào)總和沒(méi)有達(dá)到閥值，神經(jīng)細(xì)胞就不會(huì)興奮起來(lái)，不會(huì)傳遞信號(hào)。

　　簡(jiǎn)單的人工神經(jīng)元數(shù)學(xué)模型就是讓每一個(gè)輸入到神經(jīng)元的信號(hào)加權(quán)求和，相加后如果超過(guò)設(shè)定的閾值，就輸出“1”，沒(méi)有就輸出“0”。這樣若干個(gè)最簡(jiǎn)單的神經(jīng)元輸入輸出相連接，就構(gòu)成了復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)。