如何确定数据的检验方法:AB测试和假设检验

一、置信区间:

置信区间(误差范围):[a, b]

置信水平 Y%:区间包含总体平均值的概率 p(a<样本平均值<b)=Y%。

如何确定数据的检验方法:AB测试和假设检验(1)

一般抽样的样本大小>30 为大样本抽样,小于30为小样本抽样。从图中可以看出,随着样本大小增加,在样本大小为30的时候,样本平均值基本呈正态分布特征。

如何确定数据的检验方法:AB测试和假设检验(2)

大样本置信区间计算:正态分布

首先,确定要求解的问题;

其次,求样本的平均值和标准误差。

案例:假设样本大小是100人,样本平均值是167.1cm,样本标准差是0.2cm。

如何确定数据的检验方法:AB测试和假设检验(3)

第三步,确定置信水平:常用的置信水平95%。

如何确定数据的检验方法:AB测试和假设检验(4)

第四步,求出置信区间上下限的值:[a, b]

如何确定数据的检验方法:AB测试和假设检验(5)

如何确定数据的检验方法:AB测试和假设检验(6)

如何确定数据的检验方法:AB测试和假设检验(7)

小样本置信区间计算:t分布,查询T表格

如何确定数据的检验方法:AB测试和假设检验(8)

二、假设检验:

假设检验的步骤:

第1步:问题是什么?

零假设、备选假设

第2步:证据是什么?

零假设成立时,得到样本平均值的概率:p值

第3步:判断标准是什么?

显著水平a(0.1%,1%,5%)

第4步:做出结论

p<=a 时,拒绝零假设,也就是备选假设成立,p>a时,接受零假设。

如何确定数据的检验方法:AB测试和假设检验(9)

案例:单样本检验

“超级引擎”是一家专门生产汽车引擎的公司,根据政府发布的新排放要求,引擎排放平均值要低于20ppm, (ppm是英文百万分之一的缩写,这里我们只要理解为是按照环保要求汽车尾气中碳氢化合物要低于20ppm)。

假设第一步: 问题是什么?要研究的问题是:这些样本数据是否满足新标准呢?零假设H0:公司引擎排放不满足标准,也就是平均值u>=20。这里的20是政府规定新标准的最低可能值。零假设总是表述为研究没有改变,没有效果,不起作用等,这里就是不满足标准。备选假设H1:公司引擎排放满足标准,也就是平均值u<20

选择抽样分布类型:绘制直方图,样本小于30,符合正太分布类型。

判断检验方向:也就是单尾检验,如果备选假设包含一个小于号,那么就是左尾假设,反之是右尾假设。

假设第二步: 证据是什么?——求P值

如何确定数据的检验方法:AB测试和假设检验(10)

假设第三步: 判断标准是什么?——显著水平

如何确定数据的检验方法:AB测试和假设检验(11)

假设第四步: 做出结论

如何确定数据的检验方法:AB测试和假设检验(12)

假设第五步: 置信区间

如何确定数据的检验方法:AB测试和假设检验(13)

假设第六步: 效应量

效应量是指处理效应的大小,例如药物A比药物B效果显著。度量效应量有很多种,但大多数都属于两大主要类别。

1)第一种叫做差异度量

例如在对比平均值时,衡量效应大小的常见标准之一是Cohen's d

Cohen's d = (样本平均值1-样本平均值2) / 标准差

Cohen's d 除以的是标准差,也就是以标准差为单位,样本平均值和总体平均值之间相差多少。

2)第二种叫做相关度度量

例如R平方,表示某个变量的变化比例与另一变量的关系。可以用t检验的信息推出R平方的公式,这里的t值从t检验中获得的值,df是自由度。

r2=t2 / (t2 df),其中r2是指r的平方,t2是t的平方

如果r平方等于20%,表示我们可以说通过知道另一个变量能够接受相关变量20%的变化情况。

为什么要给出效应量?

在判断某个调查研究的结果,是否有意义或者重要时,要考虑的另一项指标是效应量。效应量太小,意味着处理即使达到了显著水平,也缺乏实用价值。

所以,在假设检验中,我们给出了是否具有统计显著性,也要给出效应量,一起来判断研究结果是否有意义。

效应量报告格式:d=x.xx ,R2=.xx

如何确定数据的检验方法:AB测试和假设检验(14)

如何确定数据的检验方法:AB测试和假设检验(15)

如何确定数据的检验方法:AB测试和假设检验(16)

案例:双独立样本检验(AB测试)

1.描述性统计分析:开展调查研究并计算统计结果时,我们会在报告的第一部分进行描述统计分析,例如平均值和标准差。描述统计量是研究的核心。告诉我们研究中发生的情况,应该始终报告出来。

如何确定数据的检验方法:AB测试和假设检验(17)

导入时,以字符串形式导入,不容易丢失数据。但是在做描述性分析的时候,会出现以下情况:

如何确定数据的检验方法:AB测试和假设检验(18)

所以要转换成数据类型:

如何确定数据的检验方法:AB测试和假设检验(19)

如何确定数据的检验方法:AB测试和假设检验(20)

2.推论统计分析过程(假设检验):

(1)问题是什么?

零假设:AB版本没有差别,也就是A版本平均值=B版本平均值

备选假设:AB版本有差别,也就是A版本平均值 不等于 B版本平均值

零假设总是表述为没有,没有效果,不起作用等。

检验类型:两组独立样本,不同的人,所以选择独立样本检验。

抽样分布类型:样本大小是25(小于30),属于小样本。那小样本的抽样分布是否满足t分布呢? 因为t分布还要求总体分布近似正态分布,但是总体分布我们是不知道的,我们可以通过样本数据集的分布来推断总体分布。

如何确定数据的检验方法:AB测试和假设检验(21)

如何确定数据的检验方法:AB测试和假设检验(22)

如何确定数据的检验方法:AB测试和假设检验(23)

通过观察上面数据集分布图,两个样本数据集都近似正态分布,满足t分布的使用条件,所以抽样分布是t分布。

检验方向:因为备选假设是A版本和B版本有差别,也就是A版本平均值 不等于 B版本平均值,所以我们使用双尾检验。

(2)证据是什么?

在零假设成立前提下,得到样本平均值的概率p是多少?

如何确定数据的检验方法:AB测试和假设检验(24)

(3)判断的标准是什么?

如何确定数据的检验方法:AB测试和假设检验(25)

(4)做出结论:

如何确定数据的检验方法:AB测试和假设检验(26)

(5)置信区间:

如何确定数据的检验方法:AB测试和假设检验(27)

如何确定数据的检验方法:AB测试和假设检验(28)

(6)效应量:

在判断某个调查研究的结果,是否有意义或者重要时,要考虑的另一项指标是效应量。效应量太小,意味着处理即使达到了显著水平,也缺乏实用价值。

所以,在假设检验中,我们给出了是否具有统计显著性,也要给出效应量,一起来判断研究结果是否有意义。

效应量报告格式:d=x.xx ,R2=.xx

如何确定数据的检验方法:AB测试和假设检验(29)

(7)数据分析报告:

如何确定数据的检验方法:AB测试和假设检验(30)

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页