【深度學習1】Logistics迴歸在數學思維上感性理解
a.樣本的表示（x，y）：
其中：
i：第i個樣本（圖片）
m：樣本的總數
n：圖片的總像素點
b.Logistics實現的思想
思想加工：
給1個樣本，可以得到結果y，y的範圍在0~1之間，表示是否的概率程度
其中權重w和攔阻器b是網絡的參數
爲什麼要在y輸出外層加sigmoid函數？
因爲wx+b的結果總是不近人情的，會遠大於1或爲負數，通過sigmoid函數，可以說對結果進行了歸一化的處理，能通過數值的大小判斷，0~1之間的程度。
c. Loss Function and Cost Function
思想加工：
Loss Function：指的是計算得到的y_calculation與樣本給定的y_label之間的誤差；其中函數的表示方法有很多種，但最終離不開y_calculation與y_label的比較：表示的是第i個（單個）樣本的loss
Cost Function:指的是與參數（w,b）相關的總體成本函數，一般是m個樣本的Loss值取平均，衡量該輪（w,b）的效果
評定完（w,b）的好壞的意義是？
比較(w,b)的總體成本，再通過梯度下降的方法，不斷迭代（w,b）,從而找到最優解參數（w,b）。
d.Gradient Descent（找最好的w與b）
思想加工：
梯度下降法的框架思想
一個（w,b）對應的是唯一的J(w,b),儘管w不是一維數據，但是能簡化成一維實數理解，對應的f[w,b,J(w,b)]是一個凸函數（對於Logistics而言），此時一定存在一個最優解，使得MIN{J(w,b)},得到對應唯一的(w,b)
在梯度下降法使用之前，要對（w,b）進行初始化，由於爲凸函數，所以初始化的參數爲隨機任意值即可。隨機一點的(w,b)可以知道當前的J(w,b)值，再通過梯度下降的方式，逐漸下降到最低點，即爲全局最優解。
梯度下降法是怎麼實現的？
通過求偏導的方式實現
具體公式如下：
其中：
a:學習率(自行設置，決定每次迭代的速率)
感性理解：
若去掉b參數，只保留w參數，那麼爲凸函數（此處的凸函數與我們平時高數理解的相反）
若初始化爲左邊的一點，則dJ(w)/dw<0,通過梯度下降函數，得到新的w更大，對應的J(w)越來越向右邊的最低點靠近，直到到達
若初始化爲右邊的一點，則dJ(w)/dw>0,通過梯度下降函數，得到新的w更小，對應的J(w)越來越向左邊的最低點靠近，直到到達
e.總的設計思路
1、初始化w與b參數
2、每次一個m大小的樣本數據來訓練，而且樣本中帶有標籤y_label(0|1)
3、進行wx+b,再用sigmoid函數歸一化，得到y_calculation（0~1）
4、每一個樣本數據進行Loss函數，m個樣本Loss求平均得到Cost函數，即爲總體成本J(w,b)
5、再通過總體成本進行梯度下降法迭代，直到得到min{J(w,b)},此時的w,b爲之最優解