社区
教程
Wiki
注册
登录
创作新主题
社区所有版块导航
Python
python开源
Django
Python
DjangoApp
pycharm
DATA
docker
Elasticsearch
分享
问与答
闲聊
招聘
翻译
创业
分享发现
分享创造
求职
区块链
支付之战
aigc
aigc
chatgpt
WEB开发
linux
MongoDB
Redis
DATABASE
NGINX
其他Web框架
web工具
zookeeper
tornado
NoSql
Bootstrap
js
peewee
Git
bottle
IE
MQ
Jquery
机器学习
机器学习算法
Python88.com
反馈
公告
社区推广
产品
短视频
印度
印度
一周十大热门主题
AIGC时代,产品经理的角色定位与能力模型
使用OpenCV+Python进行图像处理的初学者指南
推荐常用的工作必备Python自动化代码
MySQL留疑问:left join时选on还是where?
爱奇艺财报明确第二曲线、《黑神话:悟空》往事与AI前传、动画东方美学、游戏美术应对AI、传媒股的AI...
ChatGPT:这页PPT图太多了,我解决不了!
2GB 内存就能跑 ChatGPT!这个国产「小钢炮」,要让华为 OV 们的 AI 体验突破瓶颈
深度揭秘阴影世界:深度学习时代图像与视频阴影的检测、去除与生成全面综述
一网打尽总结 Mysql 的所有 Buffer
【科学家提出即递归式证明,有望用于数学教育】在 #ChatGPT-20240905174022
关注
Py学习
»
机器学习算法
深度学习需要掌握的 13 个概率分布(附代码)
机器学习算法那些事
• 4 月前 • 89 次点击
知乎作者:Sophia
转载自:深度学习自然语言处理
本文仅用于学术分享,著作权归作者所有。如有侵权,请联系后台作删文处理。
在逛Github时发现了一个不错的总结,对深度学习的概率分布进行了总结。
作者的Github开源地址:
https://github.com/graykode/distribution-is-all-you-needgithub.com
1. 均匀分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/uniform.py
均匀分布在 [a,b] 上具有相同的概率值,是简单概率分布。
2. 伯努利分布(离散)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/bernoulli.py
先验概率 p(x)不考虑伯努利分布。因此,如果我们对最大似然进行优化,那么我们很容易被过度拟合。
利用二元交叉熵对二项分类进行分类。它的形式与伯努利分布的负对数相同。
3. 二项分布(离散)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/binomial.py
参数为 n 和 p 的二项分布是一系列 n 个独立实验中成功次数的离散概率分布。
二项式分布是指通过指定要提前挑选的数量而考虑先验概率的分布。
4. 多伯努利分布/分类分布(离散)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/categorical.py
多伯努利称为分类分布。
交叉熵和采取负对数的多伯努利分布具有相同的形式。
5. 多项式分布(离散)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/multinomial.py
多项式分布与分类分布的关系与伯努尔分布与二项分布的关系相同。
6. β分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/beta.py
β分布与二项分布和伯努利分布共轭。
利用共轭,利用已知的先验分布可以更容易地得到后验分布。
当β分布满足特殊情况(α=1,β=1)时,均匀分布是相同的。
7. Dirichlet 分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/dirichlet.py
dirichlet 分布与多项式分布是共轭的。
如果 k=2,则为β分布。
8.伽马分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/gamma.py
如果 gamma(a,1)/gamma(a,1)+gamma(b,1)与 beta(a,b)相同,则 gamma 分布为β分布。
指数分布和卡方分布是伽马分布的特例。
9. 指数分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/exponential.py
指数分布是 α 为 1 时 γ 分布的特例。
10. 高斯分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/gaussian.py
高斯分布是一种非常常见的连续概率分布。
11. 正态分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/normal.py
正态分布为标准高斯分布,平均值为0,标准差为1。
12. 卡方分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/chi-squared.py
k 自由度的卡方分布是 k 个独立标准正态随机变量的平方和的分布。
卡方分布是 β 分布的特例。
13. t 分布(连续)代码:
https://github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py
t分布是对称的钟形分布,与正态分布类似,但尾部较重,这意味着它更容易产生远低于平均值的值。
Python社区是高质量的Python/Django开发社区
本文地址:
http://www.python88.com/topic/169267
89 次点击
登录后回复