我很难理解朴素贝叶斯的过程，想知道是否有人能用简单的英文逐步解释一下。我知道它是通过发生次数进行概率比较，但我不知道训练数据与实际数据集之间的关系。
请给我一个关于训练集扮演什么角色的解释。这里给出一个非常简单的水果例子，例如香蕉。
training set---
round-red
round-orange
oblong-yellow
round-red
dataset----
round-red
round-orange
round-red
round-orange
oblong-yellow
round-red
round-orange
oblong-yellow
oblong-yellow
round-red
被认可的答案包含了许多k-NN（k近邻）算法元素，这是一种不同的算法。
k-NN和NaiveBayes都是分类算法。在概念上，k-NN使用“接近度”来对新实体进行分类。在k-NN中，“接近度”通过欧几里得距离或余弦距离等概念进行建模。相比之下，在NaiveBayes中，使用“概率”概念来对新实体进行分类。
由于问题涉及到Naive Bayes，以下是我如何向某人描述这些思想和步骤。我将尽可能用简单的英语少写方程式来解释它们。
在某人能够理解和欣赏Naive Bayes的微妙之处之前，他们需要先了解一些相关的概念，即条件概率和贝叶斯定理。（如果您熟悉这些概念，请跳到标题为进入Naive Bayes的部分。）
条件概率的简单解释：在已知某件事情发生的情况下，另一件事情发生的概率是多少。
假设有某个结果O和某个证据E。从这些概率的定义方式来看：同时发生结果O和证据E的概率是：
(结果O发生的概率) 乘以 (已知结果O发生情况下，证据E发生的条件概率)
一个示例以理解条件概率：
假设我们有一组美国参议员。参议员可以是民主党人或共和党人。他们也可以是男性或女性。
如果我们随机选择一个参议员，那么这个人是女性民主党人的概率是多少？条件概率可以帮助我们回答这个问题。
(民主党人且女性参议员)的概率=参议员为民主党人的概率 乘以 已知他们是民主党人的情况下为女性的条件概率。
P(Democrat & Female) = P(Democrat) * P(Female | Democrat)
我们也可以以相反的方式计算出完全相同的结果：
P(Democrat & Female) = P(Female) * P(Democrat | Female)
从概念上讲，这是一种从P（证据|已知结果）到P（结果|已知证据）的方法。通常，我们知道某些特定证据在给定已知结果的情况下被观察到的频率。我们必须利用这个已知事实来计算相反的情况，即计算给定证据的情况下发生该结果的可能性。
P(我们知道某些证据时发生某个结果) = P（我们知道某个结果时该证据发生）乘以Prob（结果），然后按P（证据）进行缩放
理解贝叶斯定理的经典例子：
Probability of Disease D given Test-positive =
P(Test is positive|Disease) * P(Disease)
_______________________________________________________________
(scaled by) P(Testing Positive, with or without the disease)
现在，以上都只是为了介绍朴素贝叶斯算法。
迄今为止，我们只讨论了一个证据的情况。实际上，我们需要根据多个证据来预测结果。在这种情况下，数学变得非常复杂。为了避免这种复杂性，一种方法是将多个证据“解耦”，并将每个证据看作是独立的。这就是为什么这被称为朴素贝叶斯。
P(Outcome|Multiple Evidence) =
P(Evidence1|Outcome) * P(Evidence2|outcome) * ... * P(EvidenceN|outcome) * P(Outcome)
scaled by P(Multiple Evidence)
许多人选择将其记忆为：
P(Likelihood of Evidence) * Prior prob of outcome
P(outcome|evidence) = _________________________________________________
P(Evidence)
观察一下这个等式：
对于每个可能的结果，只需运行上面的公式。由于我们正在尝试分类，因此每个结果称为类别，它具有类标签。我们的任务是查看证据，考虑它是属于这个类还是那个类的可能性，并为每个实体分配一个标签。再次采用非常简单的方法：具有最高概率的类被声明为“获胜者”，并且该类标签被分配给那个证据组合。
让我们通过一个例子来增加我们的理解力：OP要求一个“水果”识别示例。
假设我们有1000个水果的数据。它们是香蕉，橙子或其他水果。我们知道每种水果的三个特征：
这是我们的“训练集”。我们将使用它来预测我们遇到的任何新水果的类型。
Type Long | Not Long || Sweet | Not Sweet || Yellow |Not Yellow|Total
___________________________________________________________________
Banana | 400 | 100 || 350 | 150 || 450 | 50 | 500
Orange | 0 | 300 || 150 | 150 || 300 | 0 | 300
Other Fruit | 100 | 100 || 150 | 50 || 50 | 150 | 200
____________________________________________________________________
Total | 500 | 500 || 650 | 350 || 800 | 200 | 1000
___________________________________________________________________
P(Banana) = 0.5 (500/1000)
P(Orange) = 0.3
P(Other Fruit) = 0.2
"证据"的概率
p(Long) = 0.5
P(Sweet) = 0.65
P(Yellow) = 0.8
“Likelihood” 的概率
P(Long|Banana) = 0.8
P(Long|Orange) = 0 [Oranges are never long in all the fruit we have seen.]
....
P(Yellow|Other Fruit) = 50/200 = 0.25
P(Not Yellow|Other Fruit) = 0.75
假设我们拿到了一个未知水果的属性，需要对其进行分类。我们得知这个水果长、甜、黄色。它是香蕉吗？是橘子吗？还是其他水果？
我们可以逐一计算每种水果的概率，然后选择概率最高的那一类作为我们未知水果所属的类别（基于我们之前用过的1000个水果作为训练集的先验证据）。
P(Banana|Long, Sweet and Yellow)
P(Long|Banana) * P(Sweet|Banana) * P(Yellow|Banana) * P(banana)
= _______________________________________________________________
P(Long) * P(Sweet) * P(Yellow)
= 0.8 * 0.7 * 0.9 * 0.5 / P(evidence)
= 0.252 / P(evidence)
P(Orange|Long, Sweet and Yellow) = 0
P(Other Fruit|Long, Sweet and Yellow)
P(Long|Other fruit) * P(Sweet|Other fruit) * P(Yellow|Other fruit) * P(Other Fruit)
= ____________________________________________________________________________________
P(evidence)
= (100/200 * 150/200 * 50/200 * 200/1000) / P(evidence)
= 0.01875 / P(evidence)
通过压倒性的比例（0.252 >> 0.01875），我们将这个甜的/长的/黄色的水果分类为可能是香蕉。
看看它最终归结为什么：一些计数和乘法。我们可以预先计算所有这些术语，因此分类变得简单、快速和高效。
让 z = 1 / P(evidence)。 现在我们快速计算以下三个量。
P(Banana|evidence) = z * Prob(Banana) * Prob(Evidence1|Banana) * Prob(Evidence2|Banana) ...
P(Orange|Evidence) = z * Prob(Orange) * Prob(Evidence1|Orange) * Prob(Evidence2|Orange) ...
P(Other|Evidence) = z * Prob(Other) * Prob(Evidence1|Other) * Prob(Evidence2|Other) ...
将最高数字的类标签分配给它，并完成操作。
尽管名称如此，但朴素贝叶斯在某些应用程序中表现出色。文本分类是其中真正出色的领域之一。
测试集通常与训练集具有相同的格式。然而，测试集必须与训练语料库不同：如果我们简单地将训练集重复使用作为测试集，则仅仅记忆其输入而不学习如何推广到新示例的模型将会收到误导性高分。
一般来说，可以使用数据的70%作为训练集案例。同时，请记住将原始集合随机划分为训练集和测试集。
现在我回答你关于朴素贝叶斯的其他问题。
为了演示朴素贝叶斯分类的概念，考虑以下示例：
GREEN或RED。我们的任务是在新情况出现时对其进行分类，即根据当前存在的对象确定它们属于哪个类别标签。GREEN对象的数量是RED对象的两倍，所以合理地认为一个新情况（尚未观察到）是有两倍可能性成为GREEN而不是RED的成员。在贝叶斯分析中，这种信念被称为先验概率。先验概率基于以前的经验，本例中是GREEN和RED对象的百分比，并经常用于在实际发生之前预测结果。GREEN的先验概率: 绿色对象的数量/总对象数
RED的先验概率: 红色对象的数量/总对象数
"由于总共有60个对象，其中40个是绿色的，20个是红色的，因此我们对类别成员资格的先验概率如下：
GREEN 的情况下 X 的可能性比给定 RED 的情况下小，因为圆圈包含 1 个 GREEN 对象和 3 个 RED 对象。因此：
X可能属于GREEN（因为GREEN的数量是RED的两倍），但似然性显示相反; X的类成员资格是RED（因为X附近有更多的RED对象而不是GREEN）。在贝叶斯分析中，最终分类是通过结合两种信息来源（即先验和似然）来产生后验概率，使用所谓的贝叶斯规则（以Rev. Thomas Bayes 1702-1761命名）。保留HTML标签。
RED，因为它的类成员资格达到了最大的后验概率。
预测NB的公式：
如何使用朴素贝叶斯算法？
让我们举个例子，说明朴素贝叶斯是如何工作的。
步骤1：首先，我们需要找到概率表中“是”或“否”的可能性，如下图所示。
步骤2：找出每个类别的后验概率。
Problem: Find out the possibility of whether the player plays in Rainy condition?
P(Yes|Rainy) = P(Rainy|Yes) * P(Yes) / P(Rainy)
P(Rainy|Yes) = 2/9 = 0.222
P(Yes) = 9/14 = 0.64
P(Rainy) = 5/14 = 0.36
Now, P(Yes|Rainy) = 0.222*0.64/0.36 = 0.39 which is lower probability which means chances of the match played is low.
查看更多参考资料，请参考这些博客。
参考 GitHub 存储库朴素贝叶斯示例。
Ram Narasimhan在这里很好地解释了概念。以下是贝叶斯分类器的示例代码，作为一种替代解释。
它使用来自第351页的书籍的示例问题。
这是我们将要使用的数据集：
在上述数据集中，如果我们给出假设 = {"Age":'<=30', "Income":"medium", "Student":'yes' , "Creadit_Rating":'fair'}，那么他会购买计算机或不会购买计算机的概率是多少。
下面的代码正好回答了这个问题。
只需创建一个名为new_dataset.csv的文件并粘贴以下内容。
Age,Income,Student,Creadit_Rating,Buys_Computer
<=30,high,no,fair,no
<=30,high,no,excellent,no
31-40,high,no,fair,yes
>40,medium,no,fair,yes
>40,low,yes,fair,yes
>40,low,yes,excellent,no
31-40,low,yes,excellent,yes
<=30,medium,no,fair,no
<=30,low,yes,fair,yes
>40,medium,yes,fair,yes
<=30,medium,yes,excellent,yes
31-40,medium,no,excellent,yes
31-40,high,yes,fair,yes
>40,medium,no,excellent,no
这里是代码，注释中解释了我们在这里做的一切！[Python]
import pandas as pd
import pprint
class Classifier():
data = None
class_attr = None
priori = {}
cp = {}
hypothesis = None
def __init__(self,filename=None, class_attr=None ):
self.data = pd.read_csv(filename, sep=',', header =(0))
self.class_attr = class_attr
'''
probability(class) = How many times it appears in cloumn
__________________________________________
count of all class attribute
'''
def calculate_priori(self):
class_values = list(set(self.data[self.class_attr]))
class_data = list(self.data[self.class_attr])
for i in class_values:
self.priori[i] = class_data.count(i)/float(len(class_data))
print "Priori Values: ", self.priori
'''
Here we calculate the individual probabilites
P(outcome|evidence) = P(Likelihood of Evidence) x Prior prob of outcome
___________________________________________
P(Evidence)
'''
def get_cp(self, attr, attr_type, class_value):
data_attr = list(self.data[attr])
class_data = list(self.data[self.class_attr])
total =1
for i in range(0, len(data_attr)):
if class_data[i] == class_value and data_attr[i] == attr_type:
total+=1
return total/float(class_data.count(class_value))
'''
Here we calculate Likelihood of Evidence and multiple all individual probabilities with priori
(Outcome|Multiple Evidence) = P(Evidence1|Outcome) x P(Evidence2|outcome) x ... x P(EvidenceN|outcome) x P(Outcome)
scaled by P(Multiple Evidence)
'''
def calculate_conditional_probabilities(self, hypothesis):
for i in self.priori:
self.cp[i] = {}
for j in hypothesis:
self.cp[i].update({ hypothesis[j]: self.get_cp(j, hypothesis[j], i)})
print "\nCalculated Conditional Probabilities: \n"
pprint.pprint(self.cp)
def classify(self):
print "Result: "
for i in self.cp:
print i, " ==> ", reduce(lambda x, y: x*y, self.cp[i].values())*self.priori[i]
if __name__ == "__main__":
c = Classifier(filename="new_dataset.csv", class_attr="Buys_Computer" )
c.calculate_priori()
c.hypothesis = {"Age":'<=30', "Income":"medium", "Student":'yes' , "Creadit_Rating":'fair'}
c.calculate_conditional_probabilities(c.hypothesis)
c.classify()
输出：
Priori Values: {'yes': 0.6428571428571429, 'no': 0.35714285714285715}
Calculated Conditional Probabilities:
{
'no': {
'<=30': 0.8,
'fair': 0.6,
'medium': 0.6,
'yes': 0.4
},
'yes': {
'<=30': 0.3333333333333333,
'fair': 0.7777777777777778,
'medium': 0.5555555555555556,
'yes': 0.7777777777777778
}
}
Result:
yes ==> 0.0720164609053
no ==> 0.0411428571429
我尝试用一个例子来解释贝叶斯定理。
从社会中随机选择的一个人，他是吸烟者的概率是多少？
你可能回答10%，假设这是正确的。
现在，如果我说这个随机选出的人是男性并且15岁呢？
你可能会说是15%或20%，但为什么呢？
事实上，我们试图通过新的证据更新我们的初始猜测（P(吸烟者) vs. P(吸烟者 | 证据)）。贝叶斯定理是将这两个概率联系起来的一种方法。
P(smoker | evidence) = P(smoker)* p(evidence | smoker)/P(evidence)
每一个证据都可能增加或降低这个机会。例如，他是男人这个事实可能会增加机会，前提是不吸烟者中男性的比例较低。
换句话说，成为男性必须是吸烟者而不是非吸烟者的指标。 因此，如果一项证据是某事物的指标，它就会增加机会。
但我们如何知道这是一个指标呢？
对于每个特征，您可以将其在给定条件下的普遍性（概率）与其单独的普遍性进行比较。（P(f | x) vs. P(f)）。
P(smoker | evidence) / P(smoker) = P(evidence | smoker)/P(evidence)
例如，如果我们知道吸烟者中有90%是男性，仅凭此并不能确定男性是否是吸烟者的指标。例如，如果在社会中男性的比例也是90％，那么知道某人是男性就无法帮助我们 ((90％/ 90%) = 1。但是，如果男性在社会中占40％，但吸烟者中有90％是男性，那么知道某人是男性将增加成为吸烟者的可能性(90％ / 40％) = 2.25，这将使最初的猜测（10％）增加2.25倍，即22.5％。
然而，如果在社会中男性的比例是95％，那么无论男性在吸烟者中的比例有多高（90％），知道某人是男性都会降低他成为吸烟者的可能性！(90％ / 95％) = 0.95)。
因此，我们有：
P(smoker | f1, f2, f3,... ) = P(smoker) * contribution of f1* contribution of f2 *...
=
P(smoker)*
(P(being a man | smoker)/P(being a man))*
(P(under 20 | smoker)/ P(under 20))
请注意，在这个公式中，我们假设男性和20岁以下是独立的特征，所以我们将它们相乘，这意味着知道一个人年龄在20岁以下并不能影响猜测他是男还是女。但这不一定是真的，例如，也许在某个社会中大多数青少年都是男性...
如何在分类器中使用这个公式
分类器提供了一些特征（男性和年龄在20岁以下），必须决定他是否吸烟（这是两个类别）。它使用上述公式来计算在给定证据（特征）下每个类别的概率，并将具有最高概率的类别分配给输入。为了提供所需的概率（90％、10％、80％...），它使用训练集。例如，它统计训练集中的吸烟者人数，并发现他们占样本的10％。然后，对于吸烟者，检查他们中有多少男性或女性....有多少人超过20岁或年龄在20岁以下....换句话说，它尝试基于训练数据构建每个类别特征的概率分布。