15分鐘實現AI端計算模型訓練、加速與部署 | 百度EasyDL公開課
主講人 | 阿達 百度高級研發工程師
量子位 整理編輯 | 公衆號 QbitAI
端計算模型目前已應用到各行業的AI落地實踐中，如部署在野外氣象觀測點用於環境監測，以及響應垃圾分類政策用來打造智能垃圾桶等等。
「EasyDL AI開發系列公開課」第二期直播中，百度高級工程師深入解析瞭如何優化端模型識別速度、如何解決端模型部署問題，並直播演示瞭如何使用EasyDL-EasyEdge AI開發平臺，快速、高效實現模型訓練和端模型部署。
講解分爲3個部分：
EasyDL端計算模型的應用
端計算技術解析：圖優化(量化剪裁)和基於芯片的優化提升模型識別速度
實戰演示：藉助EasyDL-EasyEdge部署端計算模型實現辦公室垃圾檢測識別
直播回放見鏈接：https://www.bilibili.com/video/BV1KZ4y1V7mn/
以下爲直播文字實錄：
EasyDL端計算模型的應用
在和某諮詢公司的聯合調研中，我們發現約86%的市場需求需要定製開發業務場景下的AI模型，其中有35%以上的有離線計算的需求。
端計算應用場景
比如工業場景中統計原材料的數量，食品安全場景監測廚房廚師是否佩戴廚師帽，這麼多形形色色的場景，很難通過一個統一的AI模型或者方案來滿足所有的需求。這時用戶往往需要自己來開發定製，這是一個很巨大的工程，涉及到採集數據、訓練優化模型，最後還要使模型成功地部署落地。
爲此，百度提供了零門檻AI開發平臺—EasyDL，幫助有模型定製需求的用戶。用戶可以在平臺上標註數據、擴充數據，準備好訓練所需要的數據集；然後通過EasyDL訓練優化模型；最後通過EasyDL提供的多種部署方案，實現模型落地應用。
那麼，爲什麼需要應用端計算模型呢？
定製化AI模型部署的需求與難點
工業應用中的模型推理通常需要本地計算、實時響應、解除對網絡的依賴；需要滿足對閉路電視數據隱私的保密，需要降低手機上APP對能耗的要求，複雜業務場景下又需要多樣的芯片架構和傳感器來實現部署……種種需求恰好都可以通過端計算來滿足，這就是爲什麼大家需要端計算。
有過自己部署AI模型經歷的也會發現很多部署模型的難點：
部署維護成本高，難落地；
模型適配、遷移難，往往需要重複性開發；
預測性能差，硬件成本高。
EasyDL-EasyEdge端計算
針對這些難點，EasyDL-EasyEdge提供了端計算服務來幫助大家解決這些問題，用戶不需要有特別多的芯片硬件知識和開發經驗，只需要3步、最快2分鐘就可以生成端計算模型：
第一步：準備一個訓練好的模型（如果沒有合適的模型，可先在EasyDL平臺訓練）；EasyEdge兼容市面主流的深度學習框架，比如PaddlePaddle、TensorFlow、PyTorch等；
第二步：通過EasyEdge做轉換→面向設備的兼容與加速→封裝；EasyEdge自動完成端計算服務產物；
第三步：下載後利用簡單可操作的接口部署應用模型即可。
框架&網絡支持
如圖，EasyEdge支持主流的深度學習框架、部分網絡，後續大家可以在EasyDL官網上了解更多信息。
服務部署形態
EasyDL-EasyEdge也提供豐富的服務部署形態，包含公有云部署、私有服務器部署、通用設備端SDK、軟硬一體產品等，端雲協同即將上線：
軟硬件支持
EasyDL-EasyEdge已支持10餘類芯片、4大操作系統：
端計算組件
端設備SDK不僅能適配市面上常見的手機（APP掃碼安裝、即裝即用），也能適配各類微型主機開發板（PC組件自帶HTTP服務和H5體驗，可執行exe文件）。
SDK接口是統一的，在不同設備的調用方式方法類似。通過EasyEdge獲得端設備SDK之後，無需再關注硬件細節，使用SDK統一接口來調用模型即可。
上圖是ResNet50深度學習模型部署在不同的芯片上得到的單次推理時間，芯片架構層面可以做更廣泛的適配，同時也爲用戶選型提供參考。
軟硬一體方案
爲了讓大家選型更簡單，百度也推出了軟硬一體的方案，可以在百度AI市場購買。
上圖數據是EasyDL支持的分類檢測模型以及在不同開發套件上單張圖片的推理時間，大家可以根據這些數據挑選合適的軟硬件。
EasyDL-EasyEdge應用案例
杭州氣象局：使用EasyDL圖像分類和物體檢測，訓練出雲狀、雲量、結冰等識別模型，並通過EasyEdge將模型部署到野外觀察站，提升了觀測效率和及時性。
柳州源創使用EasyDL物體檢測，訓練出噴油嘴瑕疵檢測模型；並通過EasyEdge部署到工廠的生產線上，每年可節約60萬人工檢測成本，並能夠提升檢測效率與精度。
寧波蔚瀾通過EasyDL使用了僅217張廚餘垃圾圖片、迭代了兩版，就訓練出準確率91.57%的廚餘垃圾識別模型，結合百度EasyEdge軟硬一體方案靈巧部署在垃圾箱內，已經在寧波的小區內落地使用。
EasyDL-EasyEdge已經在20多個行業場景中落地，累計有2500以上個模型，部署了超過26萬臺終端設備。
EasyDL-EasyEdge端計算技術解析
爲了使模型順利部署到端上，還可以保持預測性能的快速推理，百度EasyDL-EasyEdge做了哪些優化？
技術核心
△ EasyDL-EasyEdge技術框架
拿到用戶的模型後，首先進行圖優化，針對深度學習模型的算子進行優化，以及面向目標硬件做定向適配，然後轉化爲目標框架。
對於目前支持量化的目標框架（比如PaddlePaddle），採用了量化來產出加速版本。
目前EasyEdge支持10餘類芯片，不同的芯片還會有一些特定支持的優化。
接下來把上述優化好的模型，進行打包生成SDK。
對於生成的端模型，還可以發起自動評測，獲得評測指標和性能。
EasyEdge給用戶提供了雲端服務, 用戶在得到的sdk裏可以進行模型升級更新，運行demo。用戶還可以有h5體驗，在windows系統裏有可執行文件可以直接運行等。
實操演示：辦公室垃圾檢測識別
本部分講解中，阿達老師以「辦公室垃圾分類檢測識別」爲例，演示瞭如何使用EasyDL-EasyEdge AI開發平臺，快速、高效地進行模型訓練和端模型部署。
感興趣的小夥伴可以移步直播回放，視頻觀看更清晰~：https://www.bilibili.com/video/BV1KZ4y1V7mn/
此外，關於EasyDL-EasyEdge使用指南，可參考官網相關介紹。
直播預告
近幾年以預訓練爲代表的NLP技術取得了爆發式發展，新技術新模型層出不窮。
11月4日第三期「百度AI實戰營」公開課中，百度資深研發工程師將結合世界領先的文心（ERNIE）語義理解技術，通過產業實踐案例，深入解析NLP技術選型和模型調優的一些方法，以及工程實踐中的經驗。
▽掃碼即可免費報名，還爲大家精心準備了圖書、京東卡等小禮物哦~
One More Thing：
爲了進一步降低企業應用AI的門檻與成本，EasyDL還重磅推出「萬有引力」計劃，爲有AI應用需求的企業提供專項基金，詳情請點擊「閱讀原文」。
— 完 —
本文系網易新聞•網易號特色內容激勵計劃簽約賬號【量子位】原創內容，未經賬號授權，禁止隨意轉載。
量子位 QbitAI · 頭條號簽約作者
վ'ᴗ' ի 追蹤AI技術和產品新動態
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見~