此前，圖靈獎(jiǎng)獲得者，深度學(xué)習(xí)先驅(qū)Yann LeCun的一條推文，吸引了眾多網(wǎng)友討論。

在推文中，樂村表示:深度學(xué)習(xí)并沒有你想象的那么令人印象深刻，因?yàn)樗皇乔€擬合生成的插值結(jié)果可是，在高維空間中沒有插值在高維空間中，一切都是外推的

樂村轉(zhuǎn)發(fā)的內(nèi)容來自哈佛大學(xué)認(rèn)知科學(xué)家史蒂芬平克的一條推文Pinker說，一般近似定理很好地解釋了為什么神經(jīng)網(wǎng)絡(luò)工作，為什么它們通常不工作只有理解了安德烈葉的一般逼近定理，才能理解神經(jīng)網(wǎng)絡(luò)

在人工神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)理論中，一般逼近定理指出了人工神經(jīng)網(wǎng)絡(luò)逼近任意函數(shù)的能力通常這個(gè)定理所指的神經(jīng)網(wǎng)絡(luò)是前饋神經(jīng)網(wǎng)絡(luò)，逼近的目標(biāo)函數(shù)通常是輸入輸出都在歐氏空間的連續(xù)函數(shù)可是，一些研究已經(jīng)將該定理擴(kuò)展到其他類型的神經(jīng)網(wǎng)絡(luò)，例如卷積神經(jīng)網(wǎng)絡(luò)，徑向基函數(shù)網(wǎng)絡(luò)或其他特殊的神經(jīng)網(wǎng)絡(luò)

這個(gè)定理意味著神經(jīng)網(wǎng)絡(luò)可以用來逼近任何復(fù)雜函數(shù)，并且可以達(dá)到任何近似精度可是，它沒有告訴我們?nèi)绾芜x擇神經(jīng)網(wǎng)絡(luò)參數(shù))來實(shí)現(xiàn)我們想要近似的目標(biāo)函數(shù)

1989年，George Cybenko首次提出并證明了單隱層，任意寬度，S函數(shù)為激勵(lì)函數(shù)的前饋神經(jīng)網(wǎng)絡(luò)的一般逼近定理兩年后的1991年，Kurt Hornik發(fā)現(xiàn)激活函數(shù)的選擇并不是關(guān)鍵，而前饋神經(jīng)網(wǎng)絡(luò)的多層神經(jīng)層和多神經(jīng)元架構(gòu)才是使神經(jīng)網(wǎng)絡(luò)成為通用逼近器的關(guān)鍵

最重要的是，這個(gè)定理解釋了為什么神經(jīng)網(wǎng)絡(luò)表現(xiàn)得如此聰明理解它是深入理解神經(jīng)網(wǎng)絡(luò)的關(guān)鍵一步

更深入的探索。

緊(有限，封閉)集上的任何連續(xù)函數(shù)都可以用分段函數(shù)來近似以—3到3之間的正弦波為例，可以用三個(gè)函數(shù)來近似mdashmdash兩個(gè)二次函數(shù)和一個(gè)線性函數(shù)，如下圖所示

但是，Cybenko在描述這個(gè)分段函數(shù)時(shí)更加具體，因?yàn)樗梢允浅?shù)，函數(shù)本質(zhì)上是逐步擬合的有了足夠的常數(shù)步長，我們可以在給定的范圍內(nèi)合理地估計(jì)函數(shù)

基于這種近似，我們可以使用神經(jīng)元作為步驟來構(gòu)建網(wǎng)絡(luò)權(quán)重和偏差被用作門，以確定哪些輸入下降，哪些神經(jīng)元應(yīng)該被激活一個(gè)有足夠神經(jīng)元的神經(jīng)網(wǎng)絡(luò)可以簡單地將一個(gè)函數(shù)分成幾個(gè)常數(shù)區(qū)域進(jìn)行估計(jì)

對(duì)于落在神經(jīng)元下降部分的輸入信號(hào)，通過將權(quán)重放大到更大的值，最終值將接近1(當(dāng)使用sigmoid函數(shù)進(jìn)行計(jì)算時(shí))如果它不屬于這個(gè)部分，將權(quán)重移動(dòng)到負(fù)無窮大將產(chǎn)生接近0的最終結(jié)果Sigmoid函數(shù)用作處理器來確定神經(jīng)元的存在程度只要有大量的神經(jīng)元，任何函數(shù)都可以近似得近乎完美在多維空間中，Cybenko擴(kuò)展了這一思想，每個(gè)神經(jīng)元在多維函數(shù)中控制空間的超立方體

一般定理的關(guān)鍵在于，它沒有在輸入和輸出之間建立復(fù)雜的數(shù)學(xué)關(guān)系，而是用簡單的線性運(yùn)算將復(fù)變函數(shù)分成許多小的，不太復(fù)雜的部分，每個(gè)部分由一個(gè)神經(jīng)元處理。

自Cybenko的初步證明以來，學(xué)術(shù)界形成了許多新的改進(jìn)，如測試不同激活函數(shù)(如ReLU)或不同結(jié)構(gòu)(循環(huán)網(wǎng)絡(luò)，卷積等)的一般逼近定理。).

無論如何，所有這些探索都圍繞著一個(gè)想法mdash神經(jīng)網(wǎng)絡(luò)在神經(jīng)元數(shù)量上有優(yōu)勢每個(gè)神經(jīng)元監(jiān)控特征空間的模式或區(qū)域，其大小由網(wǎng)絡(luò)中神經(jīng)元的數(shù)量決定神經(jīng)元越少，每個(gè)神經(jīng)元需要監(jiān)控的空間就越大，所以逼近能力就會(huì)下降但伴隨著神經(jīng)元的增多，無論激活功能是什么，任何功能都可以用很多小片段拼接在一起

概括和推斷。

可能需要指出的是，一般近似定理雖然簡單，但有點(diǎn)太簡單了(至少在概念上)神經(jīng)網(wǎng)絡(luò)可以分辨數(shù)字，生成音樂等，通常非常智能，但實(shí)際上只是一個(gè)復(fù)雜的逼近器

神經(jīng)網(wǎng)絡(luò)旨在為給定的數(shù)據(jù)點(diǎn)建立復(fù)雜的數(shù)學(xué)函數(shù)模型神經(jīng)網(wǎng)絡(luò)是一種很好的逼近器，但如果輸入超出訓(xùn)練范圍，就會(huì)失去作用這類似于有限泰勒級(jí)數(shù)近似，可以在一定范圍內(nèi)擬合正弦波，但超過范圍就失效了

外推，或在給定的訓(xùn)練范圍之外做出合理預(yù)測的能力，不是神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的目的從一般近似定理可知，神經(jīng)網(wǎng)絡(luò)不是真正的智能，而是隱藏在多維偽裝下的估計(jì)器，在二維或三維看起來很普通

定理的現(xiàn)實(shí)意義。

當(dāng)然，一般近似定理假設(shè)神經(jīng)元可以繼續(xù)加到無窮大，這在實(shí)際中是不可行的此外，利用神經(jīng)網(wǎng)絡(luò)參數(shù)的幾乎無限組合來尋找最佳組合是不切實(shí)際的可是，該定理也假設(shè)只有一個(gè)隱層，伴隨著更多隱層的加入，一般逼近的復(fù)雜度和潛力呈指數(shù)增長

取而代之的是，機(jī)器學(xué)習(xí)工程師根據(jù)直覺和經(jīng)驗(yàn)決定如何構(gòu)造適合給定問題的神經(jīng)網(wǎng)絡(luò)架構(gòu)，使其能夠很好地逼近多維空間，知道這樣一個(gè)網(wǎng)絡(luò)的存在，同時(shí)也權(quán)衡計(jì)算性能。