學習筆記_第三章 k近鄰法-《統計學習方法》李航

k近鄰法（K-NN）是一種基本分類與迴歸方法。輸入爲實例的特徵向量，對應於特徵向量的點；輸出爲實例的類別，對應於實例的類別，可取多類。
給定一個訓練數據集，對新的輸入實例，在訓練數據集中找到與該實例最鄰近的k個實例，這k個實例的多個屬於某個類，就把該輸入實例分爲此類。

3.1 k近鄰算法
k=1時是特殊情形，稱爲最近鄰算法。對於輸入的實例點（特徵向量）x，最近鄰法將訓練數據集中與x最鄰近點的類作爲x的類。

3.2 k近鄰模型
模型基本要素：距離度量，k值選擇，分類決策規則
距離度量：

k:
一般取一個比較小的數值，通常採用交叉驗證法來選取最優的k值
分類決策規則：
大多爲多數表決。
3.3 kd樹