Neural Networks and Deep Learning -- Class 1: Introduction to deep learning
小序：
最近做項目要用到神經網絡相關的東西，深度學習都火了好一段時間了，想認真研究一下，看看別人口中的玄學是否果然那麼玄~
網易雲課堂上有完整的中文字幕配套視頻，可惜做不了作業，想着這東西必須得多實踐才能掌握紮實，鼓起勇氣在course上報了一個月311塊的課，加油~
因爲感覺自己剛入門，很多專業術語都不瞭解，所以採取的策略是：在網易雲上聽課，在coursera上完成作業，及時整理筆記發佈在CSDN上。
--------------------------------------------------------------------------------
【課堂筆記】
1.1 歡迎
1.2 什麼是神經網絡
房價預測案例：ReLU函數 (Rectified Linear Unit) 修正線性單元
足夠樣本 -> 精準映射函數
映射
所謂神經網絡，就是從足夠多的樣本中提取出的精準的映射函數，其本質就是映射。
1.3 用神經網絡進行監督學習
應用領域：
計算廣告 計算機視覺（cnn） 語音識別（rnn） 機器翻譯(rnns) 無人駕駛(cnn)
網絡分類：
標準神經網絡
卷積神經網絡 常用於圖像
循環神經網絡 一維序列
數據分類：
結構化數據 清晰定義
非結構化數據 機器更難以理解
1.4 爲什麼深度學習會興起
傳統模型無法處理
海量數據
足夠大的神經網絡+足夠大的數據量（帶標籤的數據）=> 神經網絡更好的表現
訓練數據規模：m
訓練集不大 手工設計/細節對算法影響較大 各算法之間的優劣定義不明確
訓練集很大時 神經網絡優勢更明顯
算法優化 sigmod -> ReLU梯度不再趨近於0 => 梯度下降算法更快
神經網絡興起的原因：數據量大 & 快速計算 & 算法創新
算法優化 => 實現快速計算; 提高迭代速度，改進想法
1.5 關於這門課
編程基礎 練習
單隱層神經網絡、多隱層神經網絡
1.6 課程資源
論壇、郵件
-------------------------------------------------------------------------------
【作業整理】
錯題：
6.
Images for cat recognition is an example of 「structured」 data, because it is represented as a structured array in a computer. True/False?
Answer: False
看着題目莫名其妙就被帶進去了，也沒深入思考。圖片、語音之類的當然是非結構化數據了，結構化數據基本可以理解爲表格型數據？或者像MongoDB那種,非關係型數據庫？
審題要仔細~
7.
A demographic dataset with statistics on different cities' population, GDP per capita, economic growth is an example of 「unstructured」 data because it contains data coming from different sources. True/False?
Answer: False
還是栽在了數據類型上，非結構化數據主要就
是
image, audio or text d
atase
ts
。
重點題目：
2. Neural Networks are a brand new field.
深度學習那本書中提到，20世紀40年代神經網絡就已經出現，後來因爲種種原因中間經歷過幾次停滯，所以並不屬於全新的領域哦~
4. Finding the characteristics of a model is key to have good performance. Although experience can help, it requires multiple iterations to build a good model.
mark一下題目解答中的這句話，所以
神經網絡都是要經過漫長的訓練過程
滴~
8. RNNs represent the recurrent process of Idea->Code->Experiment->Idea->....
整理題目時看到這句話突然有點困惑了。。好像也沒什麼問題。。後來猜測大概題目的意思是RNN是不是代表這個循環實驗的過程。。這樣就說得通了
9.
這張圖值得很好的保存，可以說，在
數據量較小的情況下，網絡性能差異不明顯，數據量增大時，網絡規模越大，性能也就越好
。
或者歸納成第10題中的這兩句話：就是
數據越多越好，網絡規模越大越好~
Bringing more data to a model is almost always beneficial.
Increasing the size of a neural network generally does not hurt an algorithm’s performance, and it may help significantly.