贝叶斯（Bayes）定理
贝叶斯分类器（Bayes分类器）
1概念：
- 将每个属性及类别标记视为随机变量
- 给定一个具有属性集合(A1, A2,…,An)的记录
- 目标是预测类别属性C
- 具体而言，要寻找使得P(C| A1, A2,…,An )最大的类别C。
2方法：
- 利用Bayes定理计算所有类别C的后验概率P(C | A1, A2, …, An)
选择使如下概率值最大的类别C ：P(C | A1, A2, …, An)
等价于使如下概率值最大：P(A1, A2, …, An|C) P(C)
朴素贝叶斯分类器（朴素Bayes分类器）
-
l假定给定类别的条件下属性Ai之间是独立的:P(A1, A2, …, An |C) = P(A1| Cj) P(A2| Cj)… P(An| Cj)可以从Ai和Cj中估算出P(Ai| Cj)，类别为使P(Cj)P(Ai| Cj)最大的类Cj
举例
1、如图所示，已知以下训练集Give Birth,Can Fly,Live in Water,Have Legs的属性，判断所给出测试集是属于（class）哪一类
2、计算
解释：p(A|M)=6/7*6/7*2/7*2/7: class中属于动物类的有7个，在这7个里，其中Give Birth是yes的有6个；Can Fly是no的有6个；Live in Water是yes的有2个；Have Legs是no的有2个。
p(A|N)=1/13*10/13*3/13*4/13: class中属于非动物类的有13个，在这13个里，其中Give Birth是yes的有1个；Can Fly是no的有10个；Live in Water是yes的有3个；Have Legs是no的有4个。
因为P(A|M)P(M)>P(A|N)P(N)，所以测试类为动物