如何确定数据的检验方法：AB测试和假设检验

一、置信区间：

置信区间（误差范围）：[a, b]

置信水平 Y%：区间包含总体平均值的概率 p（a<样本平均值<b)=Y%。

一般抽样的样本大小>30 为大样本抽样，小于30为小样本抽样。从图中可以看出，随着样本大小增加，在样本大小为30的时候，样本平均值基本呈正态分布特征。

大样本置信区间计算：正态分布

首先，确定要求解的问题；

其次，求样本的平均值和标准误差。

案例：假设样本大小是100人，样本平均值是167.1cm，样本标准差是0.2cm。

第三步，确定置信水平：常用的置信水平95%。

第四步，求出置信区间上下限的值：[a, b]

小样本置信区间计算：t分布,查询T表格

二、假设检验：

假设检验的步骤：

第1步：问题是什么？

零假设、备选假设

第2步：证据是什么？

零假设成立时，得到样本平均值的概率：p值

第3步：判断标准是什么？

显著水平a（0.1%，1%，5%）

第4步：做出结论

p<=a 时，拒绝零假设，也就是备选假设成立，p>a时，接受零假设。

案例：单样本检验

“超级引擎”是一家专门生产汽车引擎的公司，根据政府发布的新排放要求，引擎排放平均值要低于20ppm， （ppm是英文百万分之一的缩写，这里我们只要理解为是按照环保要求汽车尾气中碳氢化合物要低于20ppm）。

假设第一步： 问题是什么？要研究的问题是：这些样本数据是否满足新标准呢？零假设H0：公司引擎排放不满足标准，也就是平均值u>=20。这里的20是政府规定新标准的最低可能值。零假设总是表述为研究没有改变，没有效果，不起作用等，这里就是不满足标准。备选假设H1：公司引擎排放满足标准，也就是平均值u<20

选择抽样分布类型：绘制直方图，样本小于30，符合正太分布类型。

判断检验方向：也就是单尾检验，如果备选假设包含一个小于号，那么就是左尾假设，反之是右尾假设。

假设第二步： 证据是什么？——求P值

假设第三步： 判断标准是什么？——显著水平

假设第四步： 做出结论

假设第五步： 置信区间

假设第六步： 效应量

效应量是指处理效应的大小，例如药物A比药物B效果显著。度量效应量有很多种，但大多数都属于两大主要类别。

1）第一种叫做差异度量

例如在对比平均值时，衡量效应大小的常见标准之一是Cohen's d

Cohen's d = （样本平均值1-样本平均值2) / 标准差

Cohen's d 除以的是标准差，也就是以标准差为单位，样本平均值和总体平均值之间相差多少。

2）第二种叫做相关度度量

例如R平方，表示某个变量的变化比例与另一变量的关系。可以用t检验的信息推出R平方的公式，这里的t值从t检验中获得的值，df是自由度。

r2=t2 / (t2 df),其中r2是指r的平方，t2是t的平方

如果r平方等于20%，表示我们可以说通过知道另一个变量能够接受相关变量20%的变化情况。

为什么要给出效应量？

在判断某个调查研究的结果，是否有意义或者重要时，要考虑的另一项指标是效应量。效应量太小，意味着处理即使达到了显著水平，也缺乏实用价值。

所以，在假设检验中，我们给出了是否具有统计显著性，也要给出效应量，一起来判断研究结果是否有意义。

效应量报告格式：d=x.xx ，R2=.xx

案例：双独立样本检验（AB测试）

1.描述性统计分析：开展调查研究并计算统计结果时，我们会在报告的第一部分进行描述统计分析，例如平均值和标准差。描述统计量是研究的核心。告诉我们研究中发生的情况，应该始终报告出来。

导入时，以字符串形式导入，不容易丢失数据。但是在做描述性分析的时候，会出现以下情况：

所以要转换成数据类型：

2.推论统计分析过程（假设检验）：

（1）问题是什么？

零假设：AB版本没有差别，也就是A版本平均值=B版本平均值

备选假设：AB版本有差别，也就是A版本平均值 不等于 B版本平均值

零假设总是表述为没有，没有效果，不起作用等。

检验类型：两组独立样本，不同的人，所以选择独立样本检验。

抽样分布类型：样本大小是25（小于30），属于小样本。那小样本的抽样分布是否满足t分布呢？ 因为t分布还要求总体分布近似正态分布，但是总体分布我们是不知道的，我们可以通过样本数据集的分布来推断总体分布。

通过观察上面数据集分布图，两个样本数据集都近似正态分布，满足t分布的使用条件，所以抽样分布是t分布。

检验方向：因为备选假设是A版本和B版本有差别，也就是A版本平均值 不等于 B版本平均值，所以我们使用双尾检验。

（2）证据是什么？

在零假设成立前提下，得到样本平均值的概率p是多少？

（3）判断的标准是什么？

（4）做出结论：

（5）置信区间：

（6）效应量：

在判断某个调查研究的结果，是否有意义或者重要时，要考虑的另一项指标是效应量。效应量太小，意味着处理即使达到了显著水平，也缺乏实用价值。

所以，在假设检验中，我们给出了是否具有统计显著性，也要给出效应量，一起来判断研究结果是否有意义。

效应量报告格式：d=x.xx ，R2=.xx

（7）数据分析报告：

,