2019蘇州人工智能產業年會心得筆記
2019蘇州人工智能產業年會心得筆記
目錄
核心總結：
角度一：從深度學習展開：
1.可解釋性工作必須開展。
深度學習在實際應用中最大的短板就是卻反可解釋性，小錯不犯，一犯就是大錯。真正的實際應用不允許出現這種情況。這也嚴重阻礙了很多技術的落地應用。
思路：知識圖譜+NLP。從知識和語義下手，是機器從學習數據到理解含義，才能真正做到可解釋。
2.數據採集仍十分缺乏。
深度學習依賴大量數據，但現在很多應用場景的數據極其欠缺，嚴重限制了深度學習在各行業實際應用的落地及發展。
思路：更多更好的傳感器+聯邦學習
角度二：從人工智能展開：
1..從人類本身學習——思路方面
人工智能的發展應用在大局上應以人類智能爲主，機器智能爲輔。高中教育方針是培養學生的基本知識與基本能力。這個方針同樣適用於人工智能的發展。當前的人工智能，尤其是深度學習，大多是在知識（數據）層面碾壓人類從而導致性能超越人類，但遠遠沒有理解能力（基本能力）。這也是深度學習缺乏解釋性的原因。
2.從人類本身學習——人體方面
腦科學的研究，腦機接口的研究等都是下一步的研究熱點。神經網絡與人類大腦中的神經元相差甚遠，通過學科交叉，從腦科學中去真正模仿神經網絡與學習模式，或許能打開新的天地。
第一天——暖場視頻
第一代人工智能：知識驅動，符號學習。
第二代人工智能：數據驅動，機器學習。
第三代人工智能：可解釋、魯棒性。安全、可靠和可信。
第三代人工智能三個應用方向：金融，醫療，智能製造
兩個重量級的人工智能大會：
中國人工智能大會
世界人工智能大會
遷移學習：
聯邦學習：解決數據孤島問題 隱私保護
在保護數據隱私的基礎上進行數據的共享，建立更大的模型
第一天——上午兩場主題演講
從智能系統或智能體含義處理的角度看認知計算
楊學山
1.人工智能發展面臨瓶頸。
26年來沒有重大發展。ai奇蹟短期難再現，深度學習技術潛力已近天花板。——2019年5月26日，張鈸院士採訪。
2.認知計算如何破局也不清晰
計算智能、感知智能、認知智能：
計算智能：快速計算、記憶存儲
↓ 提高感知能力，即加入視覺、聽覺、觸覺能力
感知智能：機器主動感知視覺、聽覺、觸覺等
↓ 提高認知能力，在完成識別能力，加入推理和抽象，提高泛化能力
認知智能：能理解會思考、有概念、意識、推理能力
3.人的智能究竟具備何種特質？
4.人的信息處理究竟如何進行
從視網膜開始，就是人理解的含義。根本不是符號。
5.理解認知計算
把輸入從符號變成含義感知。所有輸入均理解。
6.自動化系統的信息處理究竟如何進行
7.自動化系統中信息的屬性
8.人與自動化系統的計算異同在哪裏？
9.感知——含義計算爲基礎的認知計算模式
10.可實現嗎？
認知蘋果，梨。萬事開頭難。
海上目標智能信息感知與融合技術研究
何友
亞丁灣海域，每3天一次搶劫，搶劫全程15分鐘結束。需要全域感知。
軍用人工智能還處於人工智能階段，民用人工智能則發展快，可帶領軍用人工智能發展。
第一天——下午彙報第一場
1.人工智能推進物聯網、傳感器技術創新與應用
關鍵詞：物聯網，傳感器技術，創新與應用，產業角度
數據的應用可以保密，但數據的採集應該共享。
5g+互聯網，打破行業壁壘。各個行業、公司掌握着非常全面但各有側重的數據，數據合起來很全，但分開就很散。如果能實現數據的共通，打破行業壁壘，將非常方便。但這也將帶來就業等社會問題。如ETC與高速杆，高速都變成了ETC通行，但依舊有個杆攔着，因爲牽扯幾十萬的就業崗位
。
5g在相當長的時間依舊解決人聯網（人與人的連接）。
雲、邊、端：雲指雲計算。邊指邊緣計算。端指設備
5g是一個過程，不是一蹴而就的事情。
網絡帶寬 成本問題
結論：傳感器技術決定着系統功能的優劣。
2.人工智能，大教育，大健康
機器人，人機交互
理解是人工智能的核心難題。知其然，知其所以然。
3.當前人工智能技術特點與發展趨勢
李修全
深度學習使感知智能率先到商用化門檻。
不完全信息博弈任務，2019進展巨大。dota2，成本巨大。算力門檻提高。
開源框架發展迅速。工業tf，學術pytorch。
軟硬件協同（cuda等），人工智能現在發展特點。
方向：智能計算前移。語音識別芯片，ai攝像頭新品。（邊緣計算）
4.遷移學習，人工智能的最後一公里
楊強
遷移學習，解決小數據的方案。
行業性質，用戶隱私，商業利益，三者導致小數據和數據孤島。
遷移學習：舉一反三。
joint learning。？（某張ppt提了一句，沒看懂）
最近在做聯邦學習，解決數據孤島。（說明是熱點，中國人工智能大會上也有）
聯邦學習：數據不動，模型來回跑。參數在企業間溝通，參數包加密。
聯邦+遷移。尤其在跨領域，效果更好。例如銀行+監管。
這中間，數學加密演化，分佈式算法演化是關鍵。
5.平安智能化醫療戰略與實踐
平安：金融和醫療。
6.我國人工智能研究基金資助與展望
尖峯對話：
企業家：技術與業務結合，可解釋性讓人信服。定型定量的指標非常欠缺。
人工智能（新事物、新技術）的兩個階段：
第一階段：探索。物理思維，舉一反三，聯想思維。
第二階段：總結理論。需要數學。
不完全信息博弈，（打撲克，炒股）現在實際需要解決的問題。
第一天——下午彙報第二場：
1.認知智能的商業未來。
2.百度風投，產業智能化。
ai並未寒冬，實體行業寒冬，導致相對寒冬。
ai使企業有精力個性化業務。（遷移學習）（以人爲準則，先達到人類程度）
3.人工智能，零售服務，阿里巴巴
4.華爲計算芯片
從xx運算到向量運算再到矩陣運算，下一步發展方向是什麼？
芯片好做，但要有需求引領，芯片做出來纔有用。
卡脖子，尖峯對話
卡脖子：地基不牢，基礎硬件和底層框架一旦撤走，後果不堪設想
第一天——晚上查閱資料補充：
參考資料1：CCAI 2019 | 張鈸：走向第三代人工智能_人類
http://www.sohu.com/a/326202104_505819
參考資料2：張鈸院士：人工智能技術已進入第三代
http://www.acfic.org.cn/fgdt1/zjgd/201906/t20190612_128914.html
參考資料3：知識圖譜是什麼？與傳統知識表示的區別-電子發燒友網
http://m.elecfans.com/article/804786.html
1. 什麼纔是「智能」該有的樣子——要有理解
什麼是「智能」該有的樣子？
既然當前人工智能取得的成果還存在不少侷限，那麼，什麼纔是「智能」該有的樣子？
張鈸的答案是：要有理解。
以問答系統爲例，計算機之所以能夠給出問題的答案，並不是因爲它理解了人類在說什麼，而是依靠大量的數據檢索，尋找或匹配出了與問題相對應的答案。它可以回答「美國總統是誰」，但如果你問「特朗普是個人嗎」，它大概會懵掉。
現在的深度學習本質是基於概率統計，什麼叫做概率統計？沒有那麼玄，深度學習是尋找那些重複出現的模式，因此重複多了就被認爲是規律（真理），因此謊言重複一千遍就被認爲真理，所以爲什麼大數據有時會做出非常荒唐的結果，因爲不管對不對，只要重複多了它就會按照這個規律走，就是誰說多了就是誰。
2.深度學習並非全能——五個條件
特別是對於業外的人，都認爲我只要掌握了大數據，利用深度學習說不定還能搞出奇跡來，於是大家做了很多很多預測，比如在多短時間內計算機會在什麼事情上能超過人。
但實際上，在這個之後，奇蹟並沒有發生，按照我的估計，今後也不會大量發生。準確一點說，今後或許會在個別領域取得進展，但是不會像之前預計的那樣全面開花。特別是中國市場樂觀的認爲「中國市場大、數據多，運用又不受限制，所以將來奇蹟一定會發生在中國」。
結果很多企業在做的時候發現，不是那麼回事。從目前的情況來看效果最好的事情還是這兩件：圖像識別、語音識別。我看了一下，中國人工智能領域20個獨角獸30個準獨角獸企業，近80%都跟圖像識別或者語音識別有關係。
雖然當前人工智能的進步讓人刮目相看，但是張鈸認爲，這些成功是因爲場景都滿足了以下五個條件：
第一個是必須具備充足的數據，充足不僅僅是說數量大，還要多樣性，不能殘缺等。
第二個是確定性。
第三個是最重要的，需要完全的信息，圍棋就是完全信息博弈，牌類是不完全信息博弈，圍棋雖然複雜，但本質上只需要計算速度快，不要靠什麼智能，可是在日常生活中，我們所有的決策都是在不完全信息下做的。
第四個是靜態，包括按確定性的規律演化，就是可預測性問題，在複雜路況下的自動駕駛就不滿足這一條；實際上它既不滿足確定性，也不滿足完全信息。
第五個就是特定領域，如果領域太寬他做不了。單任務，即下棋的人工智能軟件就是下棋，做不了別的。
經濟觀察報：就是說在滿足這五個條件的前提下，目前的人工智能是勝任部分工作的？
張鈸：如果你的工作符合這五個條件，絕對會被計算機替代，符合這五個條件的工作特點很明顯，就是四個字「照章辦事」，不需要靈活性，比如出納員、收銀員。如果你的工作富有靈活性和創造性，計算機絕對不可能完全代替，當然部分代替是可能的，因爲其中肯定也有一些簡單和重複性的內容。如果認識到這一條就會認識到人工智能仍處於發展階段的初期。不是像有些人估計的那樣「人工智能技術已經完全成熟，而進入發展應用的階段」。
因此張鈸提出，人工智能的核心應該是知識表示和不確定性推理。因爲人類智慧的源泉在哪？在知識、經驗、推理能力，這是人類理性的根本。對人工智能來說最重要的能力是知識，而非數據。
3.人工智能未來的方向——第三代人工智能
張鈸表示，人工智能實際上經歷過兩代，第一代是符號推理，第二代就是目前的概率學習，它最大的問題是不可解釋和不可理解。
爲什麼人工智能需要可解釋性？
假如人工智能將來越來越多地應用到實踐中，那麼人類就必須要知道，計算機是如何「想」的。比如智能駕駛汽車要上路，如果人類不清楚工作原理，那如何放心的把生命安全託付給計算機？
張鈸：我們的結論是，只依靠深度學習很難到達真正的智能。這是很嚴峻的結論，因爲如果有這樣的問題，在決策系統裏頭是不能用這樣的系統，因爲它會犯大錯。我在很多場合講過，人類的最大的優點是「小錯不斷、大錯不犯」，機器最大的缺點是「小錯不犯，一犯就犯大錯」。這在決策系統裏頭是不允許的，這就顯示人跟機器的截然不同，人非常聰明，所以他做什麼事都很靈活，這就使得他很容易犯各種各樣的小錯。但是他很理性，很難發生大錯。計算機很笨，但是很認真，小錯誤絕對不會犯，但是它一犯就是天大的錯誤。剛纔把那個把噪聲看成知更鳥，這不是大錯嗎？你把敵人的大炮看成一匹馬，不是大錯嗎？但是人類不會發生這種錯誤，人類只會把騾看成驢，但是計算機的識別系統會把驢看成一塊石頭。原因在哪兒？原因還是 AI 的理解能力問題。
因此張鈸提出要建立可解釋、魯棒性強（即性能穩定，抗干擾能力強等狀態）的人工智能理論和方法，發展安全、可靠和可信的人工智能技術。他提倡發展第三代人工智能。
4.爲何一定要可解釋性——機器智能與人類智能
經濟觀察報：有一種觀點認爲我們強調的「白盒」（可理解性）它實際上是從人的思維來強調的，但是通過大數據、概率統計工具離散到連續的投射，它實際上是機器的思維，你不一定需要它給你一個解釋，只要正確的答案就可以了？
張鈸：目前有兩種意見，一種觀點認爲智能化的道路是多條的，不是隻有一條路能通向智能，我們通過自然進化產生了自然智能，那麼我們爲什麼不能通過機器產生機器智能？這個智能和自然智能不會是完全一樣的，條條大路通羅馬，我們通過自然進化獲得的智能也不見得是最佳的。這個觀點我贊成，機器智能與人類不相同，其實是有好處的，恰恰可以互補，發揮各自的長處。
但是從長遠來看，必須得走人類智能這條路，爲什麼？因爲我們最終是要發展人機協同，人類和機器和諧共處的世界。我們不是說將來什麼事情都讓機器去管去做，人類在一邊享受。我們要走人機共生這條路，這樣機器的智能就必須和人類一樣，不然沒法共處，機器做出來的事情，我們不能理解，我們的意圖機器也不知道，二者怎麼能合作？
經濟觀察報：就是必須具有可解釋性？
張鈸：是，就是可解釋性，你要它做決策，你不理解它，飛機就讓它開，誰敢坐這架飛機？所以目前的階段，車和飛機還是不能完全讓機器開的。爲什麼司機坐在上面我們放心？因爲我們和他同命運，要撞死一塊撞死，機器和你可不是同一命運，它撞不死，你撞死了。
有的人非常脫離實際的去想這個問題，這是不對頭的，人類怎麼會去那樣發展機器呢（注：指把人類的命運全部交給機器）？人類不會去那麼發展的，有些人在那邊擔憂什麼機器人統治人類，我說這最多隻能算遠慮。
5.如何做到讓機器理解——數據+知識
張鈸：這個目前我們有兩條路，一個是和數學結合，一個是和腦科學結合。你想想如果沒有新的數學工具，沒有來自於腦科學啓發下的新思路，哪來的新理論？另一方面是要把數據驅動和知識驅動結合起來，因爲通過數學、腦科學上尋求突破是比較艱難的，前面這件事現在則完全能夠做。
自動駕駛不可能對付突發事件，如果這個突發事件它沒見過，它就解決不了。怎麼來解決這個問題呢？實際上就是要解決從「Without」到「With」理解的問題。
人工智能現在有兩種基本方法，一種是用符號模型來模擬理性行爲，符號模型可以表達信息的內容，所以它是在一個語義的符號空間裏頭，但是非常不幸，這個離散的符號表示，數學工具很難用，很多數學工具用不上去，所以它發展很慢。
另一種是在模擬感性行爲的時候，我們用的是特徵空間的向量，向量就是數，可以把所有的數學工具都用上，優化的工具、概率統計的工具全部用上。所以數據驅動方法這幾年發展非常快，再難的問題，下圍棋非常難吧，計算機也可以「算」出來。但是它有一個非常大的缺陷，它是在特徵空間裏，缺乏語義。我們用數據去訓練一個模型，所謂「黑箱學習法」，加上你的數據質量不高，很難學出有用的東西。什麼叫概率統計？重複多了就是真理。如果數據質量差，充滿了「謊言」。謊言重複多了，就變成真理了。
我們現在想出的解決辦法是這樣的，就是把這兩個空間投射到一個空間去，這個空間叫做語義的向量空間。也就是說我們把符號變成向量，同時把特徵空間的向量變成語義空間的向量。怎麼做？一是通過 Embedding（嵌入）把符號變成向量，儘量保持語義不變，可惜現在的方法都會引起語義的丟失，我們只能在投射的過程中讓語義丟失得少。第二方面做的工作比較少，就是 Raising（提升），把特徵空間提升到語義空間去，這主要靠學科交叉，靠跟神經科學的結合。只有這些問題解決以後，我們才能夠建立一個統一的理論，因爲過去的感知和認知是不同的處理方法，大家說不到一塊，如果我們能夠投射到同一空間去，我們就可以建立一個統一的理論框架，這是我們的目標。在語義空間處理就可以解決理解問題，但是這項工作是非常艱鉅的
介紹一項我們現在做的工作。人工神經網絡爲什麼不能得到語義信息呢？人腦的神經網絡爲什麼可以呢？差別就在這裏，我們現在用的人工神經網絡太簡單了，我們正想辦法把腦神經網絡的許多結構與功能加進去，我們這裏只用了「稀疏發電」這一性質，就可以看出一些效果，人臉、大象或者鳥的輪廓，神經網絡可以把它提取出來。
還有一個辦法就是把數據驅動跟知識驅動結合起來。剛纔講了，人的智能沒法通過單純的大數據學習把它學出來，那怎麼辦？很簡單，加上知識，讓它有推理的能力，做決策的能力，這樣就能解決突發事件。我們現在做的工作就是把這些結合起來，這是我們的基本思路，知識也好，數據也好，都投射到同一空間，然後都用同樣的數學方法進行處理，這方面我們已經做了不少工作。
第二天——知識智能分論壇：
1.主動模仿學習
遷移學習：如何做到知識遷移（下一步方向）
離線和在線
2.自然語言與理解
周國棟
3.偏標記學習
強監督學習：充分且唯一
弱監督學習：周志華18年綜述
4.教育
5.xlnet
遷移+微調
6.圖神經網絡與認知推理
多跳知識問答