20190612——吳恩達機器學習 多變量線性迴歸

以前我們學習的都是單變量，假如房屋的面積對應的價格爲多對一的變量。

接下來我們要學習的是，多變量線性迴歸，也就是說有多個變量會一起影響這個結果y

n代表特徵值的數量，m代表樣本的數量

爲了簡化這個，令X0的值爲1
以前我們有n個特徵向量，現在有n+1個特徵值了。

關於多變量的線性迴歸的推導。

多變量的線性迴歸的問題的代價函數的梯度下降

---

---

特徵縮放

會更好的讓圖像清晰。
這樣用梯度下降的方法，會很快的收斂。

一般將特徵值的取值約束在-1到+1的範圍內

平均值 標準差
特徵縮放的目的就是讓梯度下降算法運行的更快一點。

---

---

學習率

y軸爲代價函數的值
x軸爲梯度下降的次數
顯而易見， 次數越大，代價函數的值越來越小

如果梯度下降之後，這個值小於10的負三次冪，那麼就判斷這個值幾乎收斂。

學習率太大，導致代價函數沒有正常工作，代價函數的值越來越大。

一元線性迴歸的迴歸方程是直線，多元線性迴歸的迴歸方程是平面或者超平面。

---

---

正規方程

之前我們都使用梯度下降方法來使代價函數變得越來越小
使用正規方程，我們可以一步來求解。

二次函數求最小值的時候，都是通過求導來判斷最小值。所以我們假想這個代價函數是一個二次函數，那麼對其求導，然後導數爲0得到θ的值，這樣就是代價函數的最小值了。

根據樣本來構建一個係數矩陣

梯度下降的缺點是需要選擇學習率，並且需要很多次數的迭代
正規方程需要計算一個n*n的矩陣，這個時間的複雜度是O（n的三次冪）
所以以n=10000來計算，大於的時候使用梯度下降法，雖然需要迭代很多的次數，但是相比正規方程要快的很多，小於10000的時候使用正規方程會更快一點。

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和爲最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。