統計模式識別——Bayes分類器（2）

上一節，我們討論了最小錯誤率分類器，接下來這一節我們將討論最小風險Bayes分類器。

最小風險Bayes分類器

1.問題提出

1.最小錯誤率Bayes決策的最小錯誤率——概率意義上最優，在工程上是否是最優?

2.錯誤分類的結果、代價或風險會是怎樣的？（考慮癌細胞圖像識別的例子）

3.出錯的可能情況：正常細胞ω1錯分爲異常ω2，異常細胞ω2錯分爲正常ω1，這兩者的代價應該是不一樣的。

2.需要區分的概念

狀態：識別的目的是分類，把樣本歸類於其可能的自然狀態（即類別）之一，將這種自然狀態簡稱爲狀態，記爲ω；

狀態空間：所有可能的狀態的集合構成狀態空間，記爲Ω；

決策：把樣本歸類於某個狀態，或不能進行歸類，都是決策，記爲α；

決策空間：所有可能的決策（包括拒絕決策）的集合構成決策空間，記爲Α；

3.問題已知條件和求解目標

已知：（假設類別C = 2，決策A = 2）

1. ω1、P(ω1)、p(x | ω1)和ω2 、P(ω2)、p(x | ω2)

2. Ω= {ω1，ω2}

3. А = {α1，α2}

4. 定義損失函數λ(αi，ωj) ，簡記λij

發生了一個隨機事件，其觀察值爲特徵向量x

求解：最小風險分類器

4.判別函數

5.決策規則

對於未知樣本x，若R(αk | x) = minR(αi | x)，則x∈ωk，即決策αk。

6.推廣到任意狀況

已知：

1. ωj、P(ωj)、p(x|ωj)，                     j = 1，… ，C；

2. Ω= {ω1，ω2，… ，ωC.}；

3. А = {α1，α2，… ，αA}；              

這裏C可以不等於A,因爲決策可以有很多，比如拒絕決策

4. 定義損失函數λ(αi，ωj) ，簡記λij；

5. 發生了一個隨機事件，其觀察值爲特徵向量x

求解：最小風險分類器

任意狀況的判別函數

任意狀況的決策規則

對於未知樣本x，若R(αk | x) = minR(αi | x)，則x∈ωk，即決策αk。

7.最小風險和最小錯誤率貝葉斯分類器的關係

首先定義0-1損失函數：

則：對於未知樣本x，若R(αk | x) = minR(αi | x)，則x∈ωk；

       對於未知樣本x，若P(ωk|x) = maxP(ωi|x)，則x∈ωk；

結論：最小錯誤率Bayes決策，等價於0-1損失函數的最小風險Bayes決策。

8. 最小風險Bayes決策的特點

1. 已知條件多——各類概率分佈及風險係數；

2. 最小錯誤風險——概率意義上工程意義上最優；

3. 設計過程複雜；