周志華揭牌英特爾-南大聯合研究中心:探索DNN與GPU以外的「廣義深度學習」

英特爾與南京大學聯合成立了一個「人工智能聯合研究中心」。9 月 12 日,英特爾中國研究院院長宋繼強與南京大學人工智能學院院長周志華在南京爲這個名爲「英特爾-南京大學人工智能 IPCC 中心」的機構揭了牌。前端


圖片


「我想經過和英特爾的合做,不只會進一步推進咱們在人工智能、機器學習算法方面的研究,同時也會進一步擴大這些研究對芯片硬件架構方面進一步發展的影響」,周志華表示,「此外,由於英特爾已經給各行各業的用戶提供了技術支持和服務,經過此次合做,也有可能進一步把咱們的研究成果進一步推向產業化應用,提供更好的發展空間。」
算法


周志華與宋繼強曾經是南京大學計算機科學與技術系的九年同學,現在這兩位昔日校友又分別以學界和業界的身份走到一塊兒,一位帶來了對深度神經網絡結構的可替代方法的深刻思考——「深度森林」,另外一位帶來了以英特爾至強系列處理器爲表明的「一片多核」硬件架構,目標是給更大、更須要可解釋性的任務提供不被數據規模侷限的、更易訓練也更容易分析的算法解決方案。網絡


深度神經網絡以外的深度學習架構


「不少外界的人有兩個有失偏頗的觀點。第一,會傾向於認爲人工智能這一波進步徹底是深度學習帶起來的,可是其實深度學習只是背後的一部分,好比 AlphaGo 背後更重要的是強化學習。第二,會傾向於認爲深度學習就是深度神經網絡。咱們的探索就是試圖告訴你們:深度學習不光是深度神經網絡,還有不少別的東西。」在揭牌儀式以後的採訪上,周志華對於深度森林工做的意義這樣解釋道。同時他也講述了本身對於深度學習的發展趨勢的判斷:「在將來,徹底基於深度神經網絡的『狹義深度學習』的空間可能逐漸地變小,由於它有用的範圍咱們逐漸都知道了。可是廣義的深度學習可能會長期存在下去,甚至變成之後的機器學習系統的一個基本配置。」app


圖片


什麼是「廣義深度學習」?周志華將其定義爲「由更深更大的由子模型組成的解決複雜問題的模型」,這裏的子模型多是神經網絡,多是隨機森林,也多是其餘的結構。框架


深度森林算法提出在去年年初,gcForest 也於去年六月開源。「『沒有免費午飯』定理嚴格證實了沒有一種模型適用於所有的數據類型。深度神經網絡在圖像、語音數據上特別有效,而咱們的前期研究發現,森林結構在符號數據、離散數據混合建模上可能有特長。」正如 IJCAI 論文結尾所言,團隊認爲這項新方法可以爲使用深度學習方法解決更多任務打開一扇深度神經網絡以外的大門。機器學習


在過去一年多的時間裏,周志華團隊也一直在從不一樣角度「敲門」。在會後的採訪中,周志華分享了一些團隊進行過的嘗試的方向:一方面探索深度森林的能力邊界,好比探索深度森林是否具備傳統認爲只有神經網絡才具備的的自編碼能力;一方面研究如何調動更多計算資源,更好利用其自身的高並行性的特色,作任務級的並行;最後在應用層面,他的團隊也和螞蟻金服等合做,檢驗深度森林算法在一個真實場景下的真實任務(從有大量離散特徵的網上金融交易數據中進行非法套現檢測)裏效果如何。現在三方面都有不錯的進展。分佈式


CPU 與其餘硬件的深度學習加速之路ide


在應用層面上,沒有一套硬件解決方案可以適用於全部的場景已是一個共識了。宋繼強介紹了英特爾中國研究院的主要方向:面向將來無處不在的具有完整的外界感知、理解決策、以及行爲能力的自主前端設備。這些設備對算力的需求能夠說是五花八門。英特爾現在最新的至強處理器經過增強了單精度和可變精度浮點數的計算能力來對深度學習應用作了適應性的調整,可是能夠進行的嘗試還有更多。佈局


「一樣的人工智能算法在 100 個行業就有 100 種甚至更多的不一樣使用方式,每一種使用方式均可能有最好的軟硬件搭配的方法。在前端、雲端、邊緣的計算對於計算資源的功耗、尺寸、實時性的要求都不同。英特爾給出的答案是『混搭』,用多個芯片內核經過高級的集成封裝技術進行 2D 和 3D 層面高速互聯,實現異構計算。」宋繼強介紹道。


圖片


應用層面不能在硬件上以「一」待勞,學術研究方向也是如此。


「深度森林和如今的深度神經網絡不同的一個地方在於,它不適合用 GPU 加速。」周志華坦言。


在「更大的模型會帶來更好效果」的廣義深度學習基本假設之下,想要將深度森林作得更大,就要進行一些不同的嘗試。


「一種是咱們和在工業界的合做夥伴一塊兒作分佈式的計算系統,而另外一種就是可否用其餘硬件提升其可擴展性。通過大量的前期調研,咱們認爲英特爾的一片多核的結構極有可能對加速這樣的模型有特別的幫助。」


在軟件優化以外,若是可以在算法研究的前期直接從指令集層面乃至芯片佈局層面進行思考與優化,對於模型效果會有怎樣的幫助?能不能同時思考軟硬件問題以實現最佳性能與效率?這是世界上的各個研究機構都在思考的問題,周志華團隊也不例外。


「深度森林主要基於樹架構,每個模型能夠視爲由多棵樹組成。第一,能不能進行任務級的並行,能不能同時作多棵樹?第二,樹結構很難在 GPU 上運行,由於它中間涉及到不少分支選擇,這讓它與一個片上多個 CPU 的結構很是契合。」


團隊已經進行了一些實驗,「咱們利用一塊英特爾至強融核的芯片(KNL),對一個特殊版本的深度森林作出了 64 倍的加速。」


同時,他們也有不少更遠大的構想,好比投入到大規模任務中,利用硬件加速提供更好的性能和效率:「受限於如今的計算架構,一個特別大的任務進來,內存立刻耗光了,計算也算不下去了。可是實際從計算開銷來講,一個森林的開銷比一個神經網絡要小。神經網絡能經過 GPU 加速得到性能的大幅提高,那深度森林能不能利用合適的芯片架構,得到相似的幫助?」


即便現有的芯片架構都不能完美地解決這一問題,研究者也十分樂於爲硬件開發者提供一些下一步設計上的啓發。


計算機人才的硬件能力與硬件研發的人才需求


在周志華看來,與英特爾的合做是讓南大計算機學科「更進一步」方式。「原來南京大學的機器學習與人工智能的團隊主要在理論和算法方面作一些工做,在應用技術方面的研究主要也集中在軟件方面。南京大學做爲一所綜合性大學,『硬件』一直是咱們的計算機科學所欠缺的一條腿。這一步光靠咱們本身很難再邁進,咱們但願能經過和英特爾的合做,在軟硬件結合方面往前走一步。」


LAMDA 實驗室的一些研究生已經從培養前期就介入了與英特爾的合做,「他們在進行工做的過程當中得到了不少英特爾資深工程師的指點,如今他們的底層硬件的理解和操做能力,要遠遠超過通常課程培養出來的學生。」


而可以「往前一步」的,除了以博士生爲主的研究人員,固然也包含本科生。成立於今年 3 月的南京大學人工智能學院剛剛迎來了第一批入學的本科生,以前公開的一年級課表裏,引人注目的是數學課:既包含了原先只有數學系學生須要學的《數學分析》和《高等代數》,也包含了原先只有計算機系學生須要學的《離散數學》。而本次周志華還透露,以後的專業課裏還有一門是關於「智能芯片」。


「咱們但願可以培養出人工智能領域高水平的人才,其中一條就是但願他們可以兼備人工智能須要的軟硬件能力。咱們在考慮引進一些與芯片、硬件設計相關的課程,其中有一門課就是關於智能芯片的,而英特爾的合做爲咱們這方面的人才培養提供了一個很是好的支持。」


這是南京大學的角度。而從英特爾的角度,硬件的設計須要考慮「將來的算法」,所以除了從學界得到前沿的算法動向,培養了解硬件、可以同時思考軟硬件問題的研究者也一樣重要。


宋繼強說「硬件的設計週期是很長的,我須要預先知道哪些運算模塊在將來會很是重要,經過聯合實驗室的方式,咱們挑選可以『看到將來』的領域開拓者,讓學界在英特爾的硬件上進行重要的工做負載嘗試,從他們的方向上去尋找將來的方向,爲咱們的硬件架構設計提供很好的指導。」


英特爾與南大的人工智能聯合研究中心的合做框架以三年爲期,屆時南大人工智能學院的全學年學生均已入學,而英特爾對於如何調整芯片設計思路以使其更適應廣義深度學習時代的思路,也會更明朗地體如今通用 CPU、專用於神經網絡加速的 NNP、 爲終端深度學習模型提供專門算力的 VPU 等等芯片中。屆時深度森林以及其餘「廣義深度學習」方法的能力範圍,會隨着算力的升級有怎樣的提高呢?咱們對此拭目以待。圖片

相關文章
相關標籤/搜索