機器學習第二回總結——多變量線性迴歸

一.多特徵量情況下的假設形式

對圖片上的知識點進行剖析：x與θ都是向量，將x0設爲1，便可以用θ的轉置與x向量的內積來簡單表示h(x)——>多元線性迴歸

二.如何設定假設的參數【使用梯度下降法來處理多元線性迴歸】

將θ和J(θ)都看作向量，重新定義我們上節課學習那幾個概念。

梯度下降法的多元表達

其實與之前我們學的內容還是很相似的，每一次的更新過程依舊是獨立的，在導數項中，重新定義了x變量的下標

三.梯度下降實例中的運算技巧

特徵放縮：如果可以保證一個機器學習的問題的多個特徵值處在一個相似的範圍之內，可以使梯度下降法更快的收斂

這張對比圖說明:當兩個特徵變量的取值範圍相差很大時，畫出的圖像接近於橢圓，使用梯度下降法就很難得到目標最極小值；如果使用特徵放縮的方法，即右側所示，此時圖像接近於圓，可以很快達到目標【-1<=xi<=1】(或者接近這個範圍也是可以的)
均值歸一化：xi的取值可以變爲0

x1可以替換爲（x1-u1）/s1
u1是訓練集中x1的平均值，s1是x1 的取值範圍：max-min
保證梯度下降正常工作：

此函數表示：梯度下降的每步迭代後代價函數的值【橫座標表示迭代次數，縱座標表示代價函數的最小值，點的含義是經過x此迭代，代價函數的值，理論上此函數圖像是單調遞減的】
此圖像的作用：幫助判斷梯度下降算法是否收斂

在上面的兩種情況下，都屬於α過大，函數不會在每次迭代中都下降，我們都應該選擇較小的學習率α來正確運行梯度下降算法，但α不應過小，否則函數下降的速率會很慢。
選擇新的特徵可以更好的描述我們想要討論的問題
多項式線性迴歸：將模型與數據進行擬合

由於變量範圍相差較大，所以應該使用特徵放縮的方法進行擬合
不僅可以用三次函數來擬合此圖像，也可使用平方根函數。

四.正規方程

類似於函數的解析式法求最小值：只需要令導數爲0；如果多個變量，就依次令其偏導數爲0

下面一個函數記住就好，可以直接幫我們獲得θ的最小值，且不需要使用特徵放縮的方法

對比兩種方法的優缺點：（能看懂英文我就不翻譯啦~）
當數據量較小時，選擇正規方程解法，其餘時刻一般都採用梯度下降算法。