高级数据分析理论和实战之统计学（数据分析必备的统计学知识）

数据分析师的必备技能栈里，除了熟悉业务、掌握业务分析思维和工具外，还有一个特别重要的知识点，就是统计学，无论在简历的技能描述中还是实际的面试过程中，统计学都是必备的基础知识。

为什么对于数据分析师来说统计学那么重要？其实答案显而易见，数据分析的价值就是通过数据去洞察业务背后的信息，避免之前的“一拍脑袋决定，二拍胸脯保证，三拍屁股走人”的主观误判，一切用数据说话！数据怎么能说话呢，算出一个数据，怎么知道这个数据是好还是坏？有多好有多坏？两组数据呈现在你面前，怎么判断这两组数据是否有明显差异？要回答这些问题，就必须要用到统计学知识，而不是相信自己的眼睛，因为眼睛有时候也会说谎，你看到的“好”不一定是好，你看到的“没有差异”不代表没有差异。

但是很多刚入门的数据分析师在学习统计学知识时都很头疼（也包括我哈哈哈），因为统计学的书籍里都是写晦涩难懂的公式，真不是一般人能看懂的。其实，对于大部分数据分析师来说，我们并不需要掌握的那么全面和深入，我们只需要掌握部分知识点，理论看不懂，但是知道在什么场景下用就行，用起来你才会慢慢地搞懂！

所以为了让大家更容易学习掌握统计学的基础知识，这里整理了数据分析工作中最常见的一些统计学基础知识，尽量用简单白话的形式去解释，这样无论是在面试中还是以后的工作中，都能把统计学的知识用起来！

数据分析中的统计学Q1、什么是辛普森悖论?为什么会出现？

细分的结果和整体的结果相悖，这就是我们常说的辛普森悖论。辛普森悖论主要是因为2组样本不均衡，抽样不合理。正确的试验实施方案里，除被测试的变量外，其他可能影响结果的变量的比例都应该保持一致，这就需要对流量进行均匀合理的分割。例如：

如原来男性20人，点击1人；女性100人，点击99人，总点击率100/120。

现在男性100人，点击6人；女性20人，点击20人，总点击率26/120。

男生和女生的点击率虽然都增加了，但是由于点击率更高的女生所占的比例过小，未能拉动整体的点击率上升。

Q2、协方差与相关系数的区别和联系

协方差：

协方差表示的是两个变量的总体的误差，这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致，也就是说如果其中一个大于自身的期望值，另外一个也大于自身的期望值，那么两个变量之间的协方差就是正值。 如果两个变量的变化趋势相反，即其中一个大于自身的期望值，另外一个却小于自身的期望值，那么两个变量之间的协方差就是负值。

相关系数：

研究变量之间线性相关程度的量，取值范围是[-1,1]。相关系数也可以看成协方差：一种剔除了两个变量量纲影响、标准化后的特殊协方差。

Q3、AB测试统计显著但实际不显著是什么原因？

这个可能的原因是我们在AB测试当中所选取的样本量过大，导致和总体数据量差异很小，这样的话即使我们发现一个细微的差别，它在统计上来说是显著的，在实际的案例当中可能会变得不显著了。

举个栗子，对应到我们的互联网产品实践当中，我们做了一个改动，APP的启动时间的优化了0.001秒，这个数字可能在统计学上对应的P值很小，也就是说统计学上是显著的，但是在实际中用户0.01秒的差异是感知不出来的。那么这样一个显著的统计差别，其实对我们来说是没有太大的实际意义的。所以统计学上的显著并不意味着实际效果的显著。

Q4、怎么理解中心极限定理？

中心极限定理定义：

（1）任何一个样本的平均值将会约等于其所在总体的平均值。

（2）不管总体是什么分布，任意一个总体的样本平均值都会围绕在总体的平均值周围，并且呈正态分布。

中心极限定理作用：

（1）在没有办法得到总体全部数据的情况下，我们可以用样本来估计总体。

（2）根据总体的平均值和标准差，判断某个样本是否属于总体。

Q5、怎么给小孩子讲解正态分布？

拿出小朋友班级的成绩表，每隔2分统计一下人数（因为小学一年级大家成绩很接近），画出钟形。然后说这就是正态分布，大多数的人都集中在中间，只有少数特别好和不够好，拿出隔壁班的成绩表，让小朋友自己画画看，发现也是这样的现象，然后拿出班级的身高表，发现也是这个样子的。

大部分人之间是没有太大差别的，只有少数人特别好和不够好，这是生活里普遍看到的现象，这就是正态分布。

Q6、什么是聚类？聚类算法有哪几种？选择一种详细介绍

（1）聚类分析是一种无监督的学习方法，根据一定条件将相对同质的样本归到一个类（俗话说人以类聚，物以群分）。

正式一点的：聚类是对点集进行考察并按照某种距离测度将他们聚成多个“簇”的过程。聚类的目标是使得同一簇内的点之间的距离较短，而不同簇中点之间的距离较大。

（2）聚类方法主要有：

a. 层次聚类

层次法（hierarchical methods），这种方法对给定的数据集进行层次似的分解，直到某种条件满足为止。。具体又可分为“自底向上”和“自顶向下”两种方案。

b. 划分聚类：（经典算法为kmeans）

划分法（parTITIoning methods），给定一个有N个元组或者记录的数据集，分裂法将构造K个分组，每一个分组就代表一个聚类。

c. 密度聚类

基于密度的方法（density-based methods），基于密度的方法与其它方法的一个根本区别是：它不是基于各种各样的距离的，而是基于密度的。这样就能克服基于距离的算法只能发现“类圆形”的聚类的缺点。

经典算法：DBSCAN:DBSCAN算法是一种典型的基于密度的聚类算法，该算法采用空间索引技术来搜索对象的邻域，引入了“核心对象”和“密度可达”等概念，从核心对象出发，把所有密度可达的对象组成一个簇。

d. 网格聚类

基于网格的方法（grid-based methods），这种方法首先将数据空间划分成为有限个单元（cell）的网格结构，所有的处理都是以单个的单元为对象的。这么处理的一个突出的优点就是处理速度很快，通常这是与目标数据库中记录的个数无关的，它只与把数据空间分为多少个单元有关。

经典算法：STING：利用网格单元保存数据统计信息，从而实现多分辨率的聚类。

（3）k-means比较好介绍，选k个点开始作为聚类中心，然后剩下的点根据距离划分到类中；找到新的类中心；重新分配点；迭代直到达到收敛条件或者迭代次数。 优点是快；缺点是要先指定k，同时对异常值很敏感。

Q7、线性回归和逻辑回归的区别是什么？

线性回归针对的目标变量是区间型的， 逻辑回归针对的目标变量是类别型的，

线性回归模型的目标变量和自变量之间的关系假设是线性相关的 ，逻辑回归模型中的目标变量和自变量是非线性的。

线性回归中通常会用假设，对应于自变量x的某个值，目标变量y的观察值是服从正太分布的。逻辑回归中目标变量y是服从二项分布0和1或者多项分布的

逻辑回归中不存在线性回归中常见的残差。

参数估值上，线性回归采用最小平方法，逻辑回归采用最大似然法。

Q8、为什么说朴素贝叶斯是“朴素”的？

朴素贝叶斯是一种简单但极为强大的预测建模算法。之所以称为朴素贝叶斯，是因为它假设每个输入变量是独立的。这是一个强硬的假设，实际情况并不一定，但是这项技术对于绝大部分的复杂问题仍然非常有效。

Q9、K-Means 和 KNN 的区别是什么？

首先，这两个算法解决的是数据挖掘中的两类问题。

K-Means 是聚类算法，KNN 是分类算法。其次，这两个算法分别是两种不同的学习方式。K-Means 是非监督学习，也就是不需要事先给出分类标签，而 KNN 是有监督学习，需要我们给出训练数据的分类标识。最后，K 值的含义不同。K-Means 中的 K 值代表 K 类。KNN 中的 K 值代表 K 个最接近的邻居。

Q10、逻辑回归和线性回归的区别？

线性回归要求因变量必须是连续性数据变量；逻辑回归要求因变量必须是分类变量，二分类或者多分类的；比如要分析性别、年龄、身高、饮食习惯对于体重的影响，如果这个体重是属于实际的重量，是连续性的数据变量，这个时候就用线性回归来做；如果将体重分类，分成了高、中、低这三种体重类型作为因变量，则采用logistic回归。两者的区别还体现在以下方面：

一、性质不同

1、逻辑回归：是一种广义的线性回归分析模型。

2、线性回归：利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

二、应用不同

1、逻辑回归：常用于数据挖掘，疾病自动诊断，经济预测等领域。

2、线性回归：常运用于数学、金融、趋势线、经济学等领域。

以上就是【数分面试宝典】系列—统计学基础知识第1篇文章的内容，部分历史文章请回翻公众号，更多数据分析面试笔试的文章持续更新中，敬请期待，如果觉得不错，也欢迎分享、点赞和收藏哈~

,