三十年前，Hinton對於神經網絡能夠取得大發展的信念是非主流的，而現在恐怕很難找到任何人反對。近期 Hinton 在麻省理工技術評論的年度 EmTech MIT 會議上，討論了這個領域的現狀以及他認爲下一步應該走向何方。

 

 

現代的人工智能革命開始於一場競賽：2012年，一年一度的 ImageNet 競賽舉辦至第三年，競賽要求團隊建立能夠識別1000個物體的計算機視覺系統，從動物到景觀再到人。

 

 

在最初的兩年裏，最好的團隊甚至沒有達到75% 的準確率。但在第三年中，一個由三名研究人員組成的團，一名教授和他的學生突然突破了這個上限。他們以驚人的10.8個百分點贏得了比賽，而那個教授就是 Geoffrey Hinton，他們使用的技術叫做深度學習。

 

Hinton 實際上從20世紀80年代就開始研究深度學習，但是由於缺乏數據和計算能力，它的有效性受到了限制，但他對這項技術的堅定信念最終帶來了巨大的回報。

 

在 ImageNet 競賽的第四年，幾乎每個團隊都在使用深度學習，並取得了奇蹟般的準確性增益。很快，深度學習就被應用到圖像識別以外的任務中，並且在很多行業中得到應用。

 

 

去年，因爲他在該領域的奠基性貢獻，Hinton 與 Yann LeCun 和 Yoshua Bengio 一起獲得了圖靈獎。

 

10月20日，在麻省理工技術評論的年度 EmTech MIT 會議上，他討論了這個領域的現狀以及他認爲下一步應該走向何方。

 

以下是訪問 Hinton 的精華內容：

 

你認爲深度學習足以複製所有的人類智慧，是什麼讓你如此肯定？

 

我確實相信深度學習能夠做到一切，但是我確實認爲必須有一些概念上的突破。例如，在2017年 Ashish Vaswani 等人引入了 Transformers，它派生出代表單詞意義的非常好使用的向量，這是一個概念上的突破，現在幾乎所有最好的自然語言處理模型都使用它，我們需要更多這樣的突破。

 

 

如果我們有了這些突破，我們是否能夠通過深度學習技術接近人類的智力？

 

是的。尤其是突破性的進展可以讓大量的向量實現諸如推理的事情，但是我們也需要大幅度的擴大參數規模。人類的大腦有大約100萬億個參數，或者說突觸，而我們現在所說的一個真正的大模型，像 GPT-3，有1750億。它比大腦小一千倍。GPT-3現在可以產生看似合理的文本，但與大腦相比仍然很小。

 

你說的規模，是指更大的神經網絡，更多的數據，還是兩者兼而有之？

 

兩者都有。在計算機科學和人類之間存在着某種差異。與感官接收到的數據量相比，人類大腦中有更大量的參數，而神經網絡也出人意料地善於處理數量相當少的數據，但人類可以做到更好。

 

 

人工智能領域的許多人認爲，常識是下一個需要解決的重大問題。你同意嗎？

 

我同意這是非常重要的事情之一。我也認爲運動控制（motor control）是非常重要的，深層神經網絡現在在這方面做得越來越好。特別是最近在谷歌的一些工作表明，你可以做精細的運動控制，並結合語言理解，這樣你就可以打開一個抽屜拿出一個物品，系統告訴你正在做什麼。

 

人工智能領域一直把人類大腦作爲靈感的最大來源，不同的人工智能方法源於認知科學的不同理論。你是否相信大腦實際上建立了外部世界的表徵來理解它，或者這僅僅是一種有用的思考方式？

 

很久以前，在認知科學領域有兩個學派之間的爭論。其中一個是由 Stephen Kosslyn 領導的，他相信當你在大腦中操縱視覺圖像時，你所擁有的是一組像素，而你在移動它們。

 

其他學派的思想則更符合傳統的人工智能，他們認爲視覺圖像在大腦中是層次化、結構化的表示。你的頭腦中有一個表徵的結構，這纔是大腦在操縱的東西。

 

而我認爲他們都犯了同樣的錯誤。Kosslyn 認爲我們操縱了像素，因爲外部圖像是由像素構成的，這是我們理解的一種表示方式。

 

而符號學派認爲我們操縱了符號，因爲我們也用符號來表示事物，這是我們理解的一種表示。我認爲這同樣是錯誤的，大腦內部其實是這些神經活動的巨大向量構成的理解方式。

 

 

有些人仍然相信符號表示是人工智能的方法之一，您同意嗎？

 

我有像赫克託 · 萊維斯克這樣的好朋友，他真的相信符號表徵的方法，並且在這方面做了很大的工作。不過我不同意他的觀點，但是這種符號學的方法是一種完全合理的嘗試。

 

但我的猜想是，最終我們會意識到符號只存在於外部世界，本質是我們對向量進行各種內部操作。

 

對於人工智能的未來，你認爲你最非主流的觀點是什麼？

 

我曾經有一些非主流的觀點，而五年後，它們成了主流。我在20世紀80年代的大多數非主流觀點現在已經被廣泛接受，所以現在很難找到不同意這些觀點的人。所以，我現在已經沒有多少非主流觀點了。

 

參考鏈接：

https://www.technologyreview.com/2020/11/03/1011616/ai-godfather-geoffrey-hinton-deep-learning-will-do-everything/