直到現在，幾乎你聽說過的每一個關於人工智慧的進步，仍基於 30 年前的一篇闡述多層神經網路訓練方法的論文演變而來。
那就是 Geoffrey Hinton 在 1986 年寫下的《Learning representations by back-propagation errors》。
這篇論文具有重要的意義，可以說是代表著反向傳播演算法（Backpropagation algorithm）首次被引入到多層神經網路訓練，為後來該演算法的推廣埋下伏筆，尤其是為人工智慧在最近 10 年的發展奠定了基礎，但要保持這種進步，還得清醒地面對人工智慧的局限性。
而作為反向傳播的提出者，現已 72 歲的 Geoffrey Hinton ，仍然站在反思（甚至質疑）反向傳播的第一線。在 2017 年時，他還曾明確表示，「我們需要放棄掉反向傳播演算法，重新開闢一條新的路徑。」
從 Hinton 本人的實踐看來，解謎人的大腦將被包含在這種路徑之中，近年來，這位 「人工神經網路之父」 頻頻表現出了其對腦科學研究的濃厚興趣，並發表了一定數量的有關腦神經科學的論文。
最近，Geoffrey Hinton 撰寫了一篇名為 Backpropagation and the brain 的文章，論文發表在 Nature Reviews Neuroscience，陳述了他對於反向傳播的最新思考。從研究思路來看， 他希望探討人腦中存在反向傳播機制的可能，而這一方向曾在神經科學領域廣受質疑。反向傳播支配下的人工神經網路反向傳播在 AI 領域的地位是主導性的，尤其是它在人工神經網路（Neural Networks，NNs）中發揮的作用。
要理解這一概念，你可以首先把人工神經網路想像成一塊有很多層的三明治。每層都有人工神經元，也就是微小的計算單元。這些神經元在興奮時會把信號傳遞給相連的另一個神經元（和真正的神經元傳導興奮的方式一樣）。每個神經元的興奮程度用一個數字代表，例如 0.13 或 32.39。兩個神經元的連接處也有一個重要的數字，代表多少興奮從一個神經元傳導至另一個神經元。這個數字是用來模擬人腦神經元之間的連接強度。數值越大，連接越強，從一個神經元傳導至另一個神經元的興奮度就越高。
以深度神經網路最成功的應用圖像識別為例，正如 HBO 的電視劇《矽谷》中就有這樣一個場景：創業團隊開發了一款程序，能夠辨認圖片中有沒有熱狗。
要讓它們發揮作用，首先需要一張圖片。舉一個簡單的例子，讓神經網路讀取一張寬 100 像素、高 100 像素的黑白照片，輸入層每一個模擬神經元的興奮值就是每一個像素的明亮度。那麼，在這塊三明治的底層，一萬個神經元（100×100）代表圖片中每個像素的明亮度。
然後，將這一層神經元與另一層神經元相連，假如一層上有幾千個神經元，它們與另一層上的幾千個神經元相連，然後一層一層以此類推。最後，這塊三明治的最頂層，即輸出層，只有兩個神經元，一個代表「熱狗」，另一個代表「不是熱狗」。這個過程是為了訓練神經網路在圖片中有熱狗時將興奮僅傳導至第一個神經元，而在圖片中沒有熱狗時將興奮僅傳導至第二個神經元。這種訓練方法就是 Hinton 開發的反向傳播技術。
當你剛剛創建一個神經網路時，神經元之間連接的強度是隨機的。換句話說，每個連接傳導的興奮值也是隨機的，就像人腦中的突觸還沒有完全成形。
反向傳播發揮的作用就是通過改變數值，在輸入不變的情況下提高輸出的敏感度（類似於通過負反饋校準），從而讓神經網路實現特定的目標。它是實現人工神經網路中非常重要的技術，作為訓練神經網路的基本演算法之一，它讓神經網路變得更加「智能」。
現在來看，反向傳播的原理其實並不複雜，但它需要大量的數據才能達到最佳效果。這也是為什麼這項技術於 30 年前提出，但直至近年來數據作為最基本 「糧食」 到位之後，才在現實生活中產生巨大價值。
問題在於，反向傳播是 Hinton 作為計算機科學家設想出來的一種工程方法，它讓機器更加智能，但這種機制真實存在於人的大腦中嗎？如果要讓機器朝著仿生人腦的路徑實現更高層次的類人的智能，這個問題或將難以迴避，也正是 Hinton 最新論文討論的核心。最新論文：反向傳播在人腦中存在的「蛛絲馬跡」人工神經網路中，反向傳播試圖通過使用對突觸權值的微小改變來減少誤差。
在這篇最新研究中，Hinton 團隊認為，儘管大腦可能不存在完全依照反向傳播的概念運作，但是反向傳播為理解大腦皮層如何學習提供了新的線索。
已知的是，人腦通過調整神經元之間的突觸連接來進行學習，不過由於皮層中的突觸被嵌入到多層網路中，這使得很難確定單個突觸修飾對系統行為的影響。
雖然反饋連接在大腦皮層中無處不在，但很難看到它們如何傳遞嚴格的反向傳播演算法所需的錯誤信號。在這裡，我們在過去和最近的發展基礎上，論證了反饋連接可能會誘導神經活動，而這些神經活動的差異可以用來局部近似這些信號，從而驅動大腦中的深度網路的有效學習。
最近的工作表明，與靈長目動物視覺皮層腹側流中表徵的其他模型相比，反向傳播訓練模型與所觀察到的神經反應匹配程度更高，而且未使用反向傳播訓練的模型（如使用 Gabor filter 的生物啟發模型，或使用非反向傳播優化的網路）的性能不如使用反向傳播進行優化的網路。
因此團隊認為，反向傳播對比之下體現的實用性和效率，至少暗示了大腦存在利用誤差驅動的反饋進行學習，而這正是反向傳播的核心思想。
Hinton 團隊將這種基於活動狀態誤差驅動突觸變化的學習機制稱為 NGRAD（neural gradient representation by activity differences）。
「反向傳播這一概念的引入在神經科學領域引起了轟動，它可能成為深入了解大腦皮層學習的一個開端。但反向傳播與大腦皮層的相關性很快遭到質疑——部分原因是它在人工系統中未能產生優秀的表現，且具有明顯的生物學不可靠性。隨著更強大的計算能力、更大的數據集和一些技術改進的出現，反向傳播現在可以訓練多層神經網路來與人類的能力競爭。NGRAD 以一種與我們認為的生物迴路運作方式一致的方式解決了反向傳播的重大不可靠性」，文中寫道。
團隊也指出，局限性在於，雖然越來越多證據表明使用反向傳播訓練的多層網路有助解釋神經數據，但關於如何在皮層中實現類反向傳播的學習仍有很多疑問，例如在反向傳播中，傳遞的誤差信號不影響前向傳播產生的神經元的活動狀態，但是在大腦皮層，這些連接會對前饋傳播產生的神經活動產生影響，大腦皮層的反饋連接不僅可以調節、激活還可以驅動活動，這比反向傳播要複雜得多。仍有疑問：AI 與大腦會越走越遠，還是越走越近？針對這篇探討大腦中是否存在反向傳播機制的研究，北京大學信息科學技術學院教授、北京智源人工智慧研究院院長黃鐵軍教授解讀道：「我在 GATIC 2017 就曾提出一個觀點，即人腦的神經網路結構是進化大數據訓練的結果。大腦的結構是億萬年『優勝劣汰』的進化過程造就的，我認為，這個過程很可能存在廣義的反向傳播機制。
「這就像深度學習中，反向傳播把一個無結構的多層人工神經網路訓練成為一個具有特定結構的專用網路，大腦進化也是把不斷增生的沒有特定結構的皮層，逐漸訓練成分工明確、結構基本確定的神經網路。後天學習只是微調，而不能改變大腦的基本結構。
「我認為，反向傳播如果發揮作用的話，也主要是在大腦先天結構的形成過程中，而不是在後天學習過程中。包括這篇文章在內，許多學者正在從個體大腦的後天學習中尋找反向傳播機制，但這可能沒有瞄準方向」，他說。
他以視覺系統為例解釋道：「人類視覺系統的神經網路結構在出生時是基本確定的，例如初級視皮層 V1 到 V4 的分區和區間連接關係都是確定的，嬰兒期接受真實的視覺刺激，進行突觸修改，V1 以及大部分視覺皮層的突觸就此固定下來，形成我們的視覺功能，注意，嬰兒期只是突觸修改，並沒有改變 V1 到 V4 的這種基本結構，相比之下，深度學習的起點並不是這樣一個先天形成的有基本結構的神經系統，只是一個多層的神經網路，可以被訓練成視覺網路，也可以被訓練成語言網路，因此，深度學習的訓練過程，實際上是在重複大腦億萬年進化要完成的結構生成任務」。
黃鐵軍認為，從自然環境對人腦的 「訓練」 來看，反向傳播是可能的訓練手段。
「億萬年生物進化過程的大數據就是地球環境，訓練機制也豐富多樣，反向傳播可能是其中之一。深度學習算力再強，大數據再大，也都難以望其項背。「因此，我們說，模仿生物大腦已經訓練好的神經網路結構，而不是從零開始尋找結構，才是實現更強智能的更快捷的道路」，他說。
當然，這些諸多可能性仍待計算機科學家、神經科學家們共同推動探索。
需要指出，儘管深度學習這一概念在誕生初期仍有神經科學的影子，但近年隨著深度學習本身的快速發展，它也愈發自成一派，幾乎與神經科學無關聯：研究深度學習的專家們專註於提升演算法，而神經科學家們探討的問題也基本上和人工深度神經網路無關。
如 Hinton 團隊這樣，採用深度學習中發展出的思想來研究大腦並非主流，卻是希望在神經科學與現有的人工智慧（尤其以深度學習技術為代表）建立更多連接。
正如 Hinton 團隊在文章結尾所言：「30 年前人們認為神經科學可能沒什麼可學的，因為從生物學角度看反向傳播演算法有些方面是不現實的。隨著梯度學習演算法在深度神經網路表現出強大的學習能力，我們開始思考大腦的高效學習非常有可能近似計算梯度」。
AI 演算法與人類大腦會越走越遠，還是越走越近？相信未來還會有更多人加入到探尋該問題答案的隊伍中。
神經網路之父再審視34年前成果，欲在大腦中搜尋AI方法的「存在」
直到現在，幾乎你聽說過的每一個關於人工智慧的進步，仍基於 30 年前的一篇闡述多層神經網路訓練方法的論文演變而來。
那就是 Geoffrey Hinton 在 1986 年寫下的《Learning representations by back-propagation errors》。
這篇論文具有重要的意義，可以說是代表著反向傳播演算法（Backpropagation algorithm）首次被引入到多層神經網路訓練，為後來該演算法的推廣埋下伏筆，尤其是為人工智慧在最近 10 年的發展奠定了基礎，但要保持這種進步，還得清醒地面對人工智慧的局限性。
而作為反向傳播的提出者，現已 72 歲的 Geoffrey Hinton ，仍然站在反思（甚至質疑）反向傳播的第一線。在 2017 年時，他還曾明確表示，「我們需要放棄掉反向傳播演算法，重新開闢一條新的路徑。」
從 Hinton 本人的實踐看來，解謎人的大腦將被包含在這種路徑之中，近年來，這位 「人工神經網路之父」 頻頻表現出了其對腦科學研究的濃厚興趣，並發表了一定數量的有關腦神經科學的論文。
最近，Geoffrey Hinton 撰寫了一篇名為 Backpropagation and the brain 的文章，論文發表在 Nature Reviews Neuroscience，陳述了他對於反向傳播的最新思考。從研究思路來看， 他希望探討人腦中存在反向傳播機制的可能，而這一方向曾在神經科學領域廣受質疑。
反向傳播支配下的人工神經網路
反向傳播在 AI 領域的地位是主導性的，尤其是它在人工神經網路（Neural Networks，NNs）中發揮的作用。
要理解這一概念，你可以首先把人工神經網路想像成一塊有很多層的三明治。每層都有人工神經元，也就是微小的計算單元。這些神經元在興奮時會把信號傳遞給相連的另一個神經元（和真正的神經元傳導興奮的方式一樣）。每個神經元的興奮程度用一個數字代表，例如 0.13 或 32.39。兩個神經元的連接處也有一個重要的數字，代表多少興奮從一個神經元傳導至另一個神經元。這個數字是用來模擬人腦神經元之間的連接強度。數值越大，連接越強，從一個神經元傳導至另一個神經元的興奮度就越高。
以深度神經網路最成功的應用圖像識別為例，正如 HBO 的電視劇《矽谷》中就有這樣一個場景：創業團隊開發了一款程序，能夠辨認圖片中有沒有熱狗。
要讓它們發揮作用，首先需要一張圖片。舉一個簡單的例子，讓神經網路讀取一張寬 100 像素、高 100 像素的黑白照片，輸入層每一個模擬神經元的興奮值就是每一個像素的明亮度。那麼，在這塊三明治的底層，一萬個神經元（100×100）代表圖片中每個像素的明亮度。
然後，將這一層神經元與另一層神經元相連，假如一層上有幾千個神經元，它們與另一層上的幾千個神經元相連，然後一層一層以此類推。最後，這塊三明治的最頂層，即輸出層，只有兩個神經元，一個代表「熱狗」，另一個代表「不是熱狗」。這個過程是為了訓練神經網路在圖片中有熱狗時將興奮僅傳導至第一個神經元，而在圖片中沒有熱狗時將興奮僅傳導至第二個神經元。這種訓練方法就是 Hinton 開發的反向傳播技術。
當你剛剛創建一個神經網路時，神經元之間連接的強度是隨機的。換句話說，每個連接傳導的興奮值也是隨機的，就像人腦中的突觸還沒有完全成形。
反向傳播發揮的作用就是通過改變數值，在輸入不變的情況下提高輸出的敏感度（類似於通過負反饋校準），從而讓神經網路實現特定的目標。它是實現人工神經網路中非常重要的技術，作為訓練神經網路的基本演算法之一，它讓神經網路變得更加「智能」。
現在來看，反向傳播的原理其實並不複雜，但它需要大量的數據才能達到最佳效果。這也是為什麼這項技術於 30 年前提出，但直至近年來數據作為最基本 「糧食」 到位之後，才在現實生活中產生巨大價值。
問題在於，反向傳播是 Hinton 作為計算機科學家設想出來的一種工程方法，它讓機器更加智能，但這種機制真實存在於人的大腦中嗎？如果要讓機器朝著仿生人腦的路徑實現更高層次的類人的智能，這個問題或將難以迴避，也正是 Hinton 最新論文討論的核心。
最新論文：反向傳播在人腦中存在的「蛛絲馬跡」
人工神經網路中，反向傳播試圖通過使用對突觸權值的微小改變來減少誤差。
在這篇最新研究中，Hinton 團隊認為，儘管大腦可能不存在完全依照反向傳播的概念運作，但是反向傳播為理解大腦皮層如何學習提供了新的線索。
已知的是，人腦通過調整神經元之間的突觸連接來進行學習，不過由於皮層中的突觸被嵌入到多層網路中，這使得很難確定單個突觸修飾對系統行為的影響。
雖然反饋連接在大腦皮層中無處不在，但很難看到它們如何傳遞嚴格的反向傳播演算法所需的錯誤信號。在這裡，我們在過去和最近的發展基礎上，論證了反饋連接可能會誘導神經活動，而這些神經活動的差異可以用來局部近似這些信號，從而驅動大腦中的深度網路的有效學習。
最近的工作表明，與靈長目動物視覺皮層腹側流中表徵的其他模型相比，反向傳播訓練模型與所觀察到的神經反應匹配程度更高，而且未使用反向傳播訓練的模型（如使用 Gabor filter 的生物啟發模型，或使用非反向傳播優化的網路）的性能不如使用反向傳播進行優化的網路。
因此團隊認為，反向傳播對比之下體現的實用性和效率，至少暗示了大腦存在利用誤差驅動的反饋進行學習，而這正是反向傳播的核心思想。
Hinton 團隊將這種基於活動狀態誤差驅動突觸變化的學習機制稱為 NGRAD（neural gradient representation by activity differences）。
「反向傳播這一概念的引入在神經科學領域引起了轟動，它可能成為深入了解大腦皮層學習的一個開端。但反向傳播與大腦皮層的相關性很快遭到質疑——部分原因是它在人工系統中未能產生優秀的表現，且具有明顯的生物學不可靠性。隨著更強大的計算能力、更大的數據集和一些技術改進的出現，反向傳播現在可以訓練多層神經網路來與人類的能力競爭。NGRAD 以一種與我們認為的生物迴路運作方式一致的方式解決了反向傳播的重大不可靠性」，文中寫道。
團隊也指出，局限性在於，雖然越來越多證據表明使用反向傳播訓練的多層網路有助解釋神經數據，但關於如何在皮層中實現類反向傳播的學習仍有很多疑問，例如在反向傳播中，傳遞的誤差信號不影響前向傳播產生的神經元的活動狀態，但是在大腦皮層，這些連接會對前饋傳播產生的神經活動產生影響，大腦皮層的反饋連接不僅可以調節、激活還可以驅動活動，這比反向傳播要複雜得多。
仍有疑問：AI 與大腦會越走越遠，還是越走越近？
針對這篇探討大腦中是否存在反向傳播機制的研究，北京大學信息科學技術學院教授、北京智源人工智慧研究院院長黃鐵軍教授解讀道：「我在 GATIC 2017 就曾提出一個觀點，即人腦的神經網路結構是進化大數據訓練的結果。大腦的結構是億萬年『優勝劣汰』的進化過程造就的，我認為，這個過程很可能存在廣義的反向傳播機制。
「這就像深度學習中，反向傳播把一個無結構的多層人工神經網路訓練成為一個具有特定結構的專用網路，大腦進化也是把不斷增生的沒有特定結構的皮層，逐漸訓練成分工明確、結構基本確定的神經網路。後天學習只是微調，而不能改變大腦的基本結構。
「我認為，反向傳播如果發揮作用的話，也主要是在大腦先天結構的形成過程中，而不是在後天學習過程中。包括這篇文章在內，許多學者正在從個體大腦的後天學習中尋找反向傳播機制，但這可能沒有瞄準方向」，他說。
他以視覺系統為例解釋道：「人類視覺系統的神經網路結構在出生時是基本確定的，例如初級視皮層 V1 到 V4 的分區和區間連接關係都是確定的，嬰兒期接受真實的視覺刺激，進行突觸修改，V1 以及大部分視覺皮層的突觸就此固定下來，形成我們的視覺功能，注意，嬰兒期只是突觸修改，並沒有改變 V1 到 V4 的這種基本結構，相比之下，深度學習的起點並不是這樣一個先天形成的有基本結構的神經系統，只是一個多層的神經網路，可以被訓練成視覺網路，也可以被訓練成語言網路，因此，深度學習的訓練過程，實際上是在重複大腦億萬年進化要完成的結構生成任務」。
黃鐵軍認為，從自然環境對人腦的 「訓練」 來看，反向傳播是可能的訓練手段。
「億萬年生物進化過程的大數據就是地球環境，訓練機制也豐富多樣，反向傳播可能是其中之一。深度學習算力再強，大數據再大，也都難以望其項背。「因此，我們說，模仿生物大腦已經訓練好的神經網路結構，而不是從零開始尋找結構，才是實現更強智能的更快捷的道路」，他說。
當然，這些諸多可能性仍待計算機科學家、神經科學家們共同推動探索。
需要指出，儘管深度學習這一概念在誕生初期仍有神經科學的影子，但近年隨著深度學習本身的快速發展，它也愈發自成一派，幾乎與神經科學無關聯：研究深度學習的專家們專註於提升演算法，而神經科學家們探討的問題也基本上和人工深度神經網路無關。
如 Hinton 團隊這樣，採用深度學習中發展出的思想來研究大腦並非主流，卻是希望在神經科學與現有的人工智慧（尤其以深度學習技術為代表）建立更多連接。
正如 Hinton 團隊在文章結尾所言：「30 年前人們認為神經科學可能沒什麼可學的，因為從生物學角度看反向傳播演算法有些方面是不現實的。隨著梯度學習演算法在深度神經網路表現出強大的學習能力，我們開始思考大腦的高效學習非常有可能近似計算梯度」。
AI 演算法與人類大腦會越走越遠，還是越走越近？相信未來還會有更多人加入到探尋該問題答案的隊伍中。