【學習筆記】吳恩達老師《深度學習工程師》二

第三課 爲什麼深度學習會崛起

老師解釋了爲什麼深度學習這個幾十年之前就出現的技術今天又火熱起來。

原因不外乎三點：

1. 數據越來越龐大

得益於數字化的發展、互聯網的擴張以及各種廉價的視覺傳感器的出現，如今的數據方便收集同時數量龐大，這爲深度學習數據來源打下了紮實的基礎。

2. 計算機硬件的發展

計算機硬件飛速發展，計算能力顯著提高，使得以前很難進行計算的方法如今可以輕鬆實現。

3. 算法的進步

算法不斷迭代，使得深度學習的一個週期大大縮短，計算效率提高。

以上種種帶來的好處就是，當你有了一個idea，將這個創意變爲代碼，進行試驗調試，改進代碼，實現idea。如果這個週期很短，那麼使用深度學習代價很小，值得去用。如果一個週期長達數月，人生有幾個數月？！扎心不？

更直觀的理解：

橫軸表示帶標籤的樣本，也就是訓練集的規模大小（用m表示，從左到右依次增大），亦或者說數據量的大小。縱軸表示深度學習的性能表現，譬如圖像識別的準確率，自動駕駛的穩定性等等，從下到上依次增加。傳統的機器學習算法（紅色曲線），在樣本量很小時，性能會隨着喂入樣本的增加而增加，然而很快遇見了瓶頸，進入平臺期。爲了得到更優的性能來滿足需求，我們換用神經網絡（NN），不難看出從小型神經網絡（黃色曲線）到中型（藍色曲線）最後再到大型神經網絡（綠色曲線），除了最初樣本量很小時性能比較接近外，隨着神經網絡規模的增加，性能差異逐步顯現。

總結就是：規模驅動着深度學習的發展。

當然，這個規模一方面指神經網絡的規模，另一方面指的是數據集的規模。

第五課 關於這門課

課程大綱：

第一週：緒論——簡介深度學習

第二週： 神經網絡編程基礎

第三週： 一個隱藏層的神經網絡

第四周： 深度（複雜）神經網絡

至此，第一週的課結束。付一個課後作業地址，希望自己認認真真完成作業！

第一次的多項選擇題9分，還是美滋滋，答案在這裏找到了。

學起來！