邏輯(logistic)迴歸模型---筆記

符合如下等式要求的爲邏輯迴歸模型的分佈函數和密度函數（至於爲啥，我也不是很清楚，可能是具有這個分佈的特徵，然後就取了這個名字），其實我感覺邏輯迴歸和高斯模型挺像的。不過根據我的經驗，二項邏輯迴歸很適合處理二分類問題。

二分類迴歸模型，主要就是Y只能取兩個值，也就是0或者1。

1. logistic分類器是由一組權值係數組成的， 最關鍵的問題就是如何獲取這組權值， 通過極大似然函數估計獲得， 並且Y~f(x;w)。
2. 似然函數是統計模型中參數的函數。 給定輸出x時， 關於參數θ的似然函數L(θ|x)（在數值上） 等於給定參數θ後變量X的概率： L(θ|x)=P(X=x|θ)
3. 似然函數的重要性不是它的取值， 而是當參數變化時概率密度函數到底是變大還是變小。極大似然函數： 似然函數取得最大值表示相應的參數能夠使得統計模型最爲合理。

多項式邏輯迴歸和二項邏輯迴歸模型類似，只是Y的取值多了而已，方法和二項邏輯迴歸類似。
其實邏輯迴歸模型和最大熵模型都可以用極大似然法或者對偶之後結合拉格朗日定理求解最大值類似，都是求解最可能的概率值。並且根據最大熵原理，概率分佈越接近均勻分佈，熵就最好，也就是概率等可能性。

注：本文的內容只是自己學習過程的一個總結，根據自己的學習感悟進行總結，以便自己日後好複習鞏固，如有不對之處，敬請諒解，感謝李航老師的書籍和袁春老師的課件，讓我學習到很多知識。

參考文獻：

1. 統計學習方法 [M]. 李航，
2. 統計學習方法課件，袁春.