一、贝叶斯定理
先验分布:在统计推断开始之前,基于历史数据、专家经验或主观信念,对未知参数所做的初步判断或假设,这种判断不必完全客观。
后验分布:它是结合先验分布与样本信息后,通过贝叶斯定理计算得到的未知参数的新分布。后验分布综合了先验知识与样本数据的信息,是贝叶斯推断的基石。
二、朴素贝叶斯
贝叶斯定理:描述了事件的条件概率之间的关系,常用于分类问题中样本类别与特征间的概率推理。
特征条件独立假设:朴素贝叶斯分类器基于输入特征相互独立的假设,简化计算并高效处理高维数据。
高斯朴素贝叶斯(Gaussian Naive Bayes):适用于连续型特征,假设特征服从高斯(正态)分布。
多项式朴素贝叶斯(Multinomial Naive Bayes):适用于离散型特征,特别是文本数据,它计算的是词频(词项出现的次数)。
伯努利朴素贝叶斯(Bernoulli Naive Bayes):也适用于离散型特征,但它是基于二项分布(即特征出现或不出现)的。