核心内容摘要
藏在心底的秘密：那些“别告诉妈妈”的瞬间
摘要贝叶斯定理是概率论基础概念亦是机器学习中概率推理与决策的核心其数学公式为 P (A | B) P (B | A) × P (A) / P (B)可基于新证据更新事件发生概率广泛应用于垃圾邮件过滤、医疗诊断、图像识别等场景在机器学习中常用于贝叶斯推断以更新模型参数认知。
在 Python 中scikit-learn 库可实现该定理相关功能以文本分类为例通过加载 20 个新闻组数据集并选取 4 个类别利用 CountVectorizer 将文本转换为词袋模型向量再训练多项式朴素贝叶斯分类器经最大似然估计求解模型参数后在测试集上预测并计算准确率最终该分类器准确率达
934 左右展现了贝叶斯定理在实际任务中的有效性。
目录机器学习 - 贝叶斯定理Python 实现示例代码代码说明输出结果机器学习 - 贝叶斯定理贝叶斯定理是概率论中的一个基础概念在机器学习中有着诸多应用。
它允许我们在获得新证据的情况下更新对某个事件发生概率的认知。
实际上它是概率推理和决策制定的基础。
贝叶斯定理指出在给定证据 B 的条件下事件 A 发生的概率等于在给定事件 A 的条件下证据 B 出现的概率乘以事件 A 的先验概率再除以证据 B 的概率。
用数学公式可表示为其中P (A | B)给定证据 B 时事件 A 发生的概率后验概率P (B | A)给定事件 A 时证据 B 出现的概率似然度P (A)事件 A 的先验概率我们对事件 A 发生概率的初始认知P (B)证据 B 的概率总概率贝叶斯定理的应用范围广泛例如垃圾邮件过滤、医疗诊断和图像识别等领域。
在机器学习中贝叶斯定理常用于贝叶斯推断 —— 这是一种基于新数据更新模型参数认知的统计技术。
Python 实现在 Python 中有多个库可实现贝叶斯定理和贝叶斯推断。
其中最常用的是 scikit-learn 库该库提供了一系列机器学习和数据分析工具。
下面以一个实例说明如何使用 scikit-learn 库在 Python 中实现贝叶斯定理。
假设我们有一个电子邮件数据集其中部分邮件为垃圾邮件其余为非垃圾邮件。
我们的目标是构建一个分类器能够准确预测新邮件是否为垃圾邮件。
我们可以利用贝叶斯定理根据邮件的特征如主题或正文中的词汇计算该邮件为垃圾邮件的概率。
要实现这一点首先需要估计模型的参数 —— 即垃圾邮件和非垃圾邮件的先验概率以及每个特征在对应类别垃圾邮件或非垃圾邮件下的似然度。
这些概率可以通过最大似然估计或贝叶斯推断来求解。
本实例将使用多项式朴素贝叶斯算法这是朴素贝叶斯算法的一种变体常用于文本分类任务。
示例代码from sklearn.datasets import fetch_20newsgroups from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.metrics import accuracy_score # 加载20个新闻组数据集 categories [alt.atheism, comp.graphics, sci.med, soc.religion.christian] train fetch_20newsgroups(subsettrain, categoriescategories, shuffleTrue, random_state
test fetch_20newsgroups(subsettest, categoriescategories, shuffleTrue, random_state
# 使用词袋模型表示文本数据 vectorizer CountVectorizer() X_train vectorizer.fit_transform(train.data) X_test vectorizer.transform(test.data) # 训练多项式朴素贝叶斯分类器 clf MultinomialNB() clf.fit(X_train, train.target) # 在测试集上进行预测并计算准确率 y_pred clf.predict(X_test) accuracy accuracy_score(test.target, y_pred) print(准确率:, accuracy)代码说明首先加载 20 个新闻组数据集该数据集包含多个类别的新闻组帖子。
我们选取了 4 个类别无神论、计算机图形学、医学科学、基督教宗教并将数据分为训练集和测试集。
使用 scikit-learn 库中的 CountVectorizer 类将文本数据转换为词袋模型表示。
这种表示方式会统计文本中每个词汇的出现次数并将其表示为向量形式。
调用 fit () 方法训练多项式朴素贝叶斯分类器该方法通过最大似然估计求解先验概率和每个词汇在对应类别下的似然度。
训练完成后可使用 predict () 方法在测试集上进行预测。
最后利用 scikit-learn 库中的 accuracy_score () 函数计算分类器的准确率。
输出结果运行上述代码后将得到以下输出准确率: