概率分布实例讲解(了解这5种常用的概率分布)
0
引言
学习机器学习算法过程中,少不了概率分布的概念,说起概率分布我的脑中除了正太分布那条线就再也没有其他印象了,这个缺陷使我在推导公式过程中遇到很多坑,也在理解数据特征中错过很多。
模型的基线取决于数据的好坏,数据的好坏取决与你对数据的理解。所以为了更加懂数据,就先理解一下数据有哪些分布,每次看到一些算法介绍的时候,总是说服从这个分布那个分布,今天索性就把常用的几个总是停留在印象中的分布做个笔记。
1 1
均匀分布
这个分布很简单,但是当用到的时候会让你痛苦一会,大家都了解神经网络初始化权重,一般都是随机初始化,但是为了信息更好的在没一层流动,每一层输出的方差应该尽量相等,因此大牛就开始创作了Xavier初始化方法,这个方法得出的结论是,Xavier初始化的实现就是下面的均匀分布,
所以在学习各种算法中,你不知道什么时候会有彩蛋,学习权重初始化方法也得先了解均匀分布先。
这个分布理解起来还是很轻松的,就以上面的区间为例,随机取区间内的值X,每个值出现的概率相等。
均匀分布概率密度函数:
均值与方差:
2
伯努利分布
名字听起来很陌生,其实离我们生活很近,抛硬币都是老掉牙的例子了,正面或者反面。逻辑回归二分类的结果就服从伯努利分布,因为逻辑回归二分类就给出两个结果正例负例。既然结果只有0-1两种,那么很显然它的概率分布就是离散型。
随机变量X服从参数为p的伯努利分布,则X的概率函数:
均值与方差:
3
二项分布
如果做n次伯努利试验,每次结果只有0,1两种结果,如果n=1的话显然是伯努利分布
举例还以逻辑回归结果举例吧,如果只有一个模型那么结果就服从伯努利分布,如果对样本进行有放回抽样,训练多个逻辑回归模型,则这些模型的输出结果就服从二项分布,举这个例子而不是投硬币是希望能够引起你对bagging的思考。
均值与方差:
4
泊松分布
假设我们一个产品,统计用户性别比例男性占60%,假设有100个注册新用户,这100个注册用户,有1个为男的概率是多少?有两个为2男的概率是多少?有3个为男的概率是多少?依次下去,显然泊松分布是连续型分布。
x是100个注册用户性别为男的个数,λ是先验概率60%
有的书里面把P(x;p=0.6)为P(x|p=0.6)看着还挺不舒服的,不知道以为是条件概率。条件概率的话,因为都为变量而不存在常量。
均值与方差:
5
指数分布
同样以app用户注册为例,一个小时注册100个,那么在单位时间为一个小时的前提下,一个男的都没有的概率是多少?把x=0带入泊松分布公式,
则有男性的概率为
则一般形式
指数分布的应用,如果让你求两个小时内有男人注册的概率你应该会求,对比泊松分布只关注有几个男人注册,而指数分布则只关注是否有男性用户注册。
均值与方差:
,
免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com