数据采集的三个要点 数据采集知识分享

日常在处理数据分析工作的时候，常常会进入到数据采集这一环节。进行数据采集环节有什么意义呢？通过数据采集收集到的数据往往是数据分析、数据挖掘的基础，同时也影响着数据分析、数据挖掘的上限。比如说某电商想要制定一个针对某个地区消费者的活动方案，就要去采集该地区消费者的购物喜好和购物习惯，去了解消费者感兴趣的商品类型、平时的购物时间等情况。

听到数据采集，相信很多人都会想这些数据可以从哪些地方采集呢？接下来，小编就来跟大家介绍一下数据采集源。数据采集源，在如今的大数据时代，数据的采集源是非常丰富多样的。现在常将数据采集源分为以下6大类，分别是端上数据、开放数据、其他平台的数据、物理数据、主观性数据和数据库的数据。

（1）端上数据

端上数据，是指服务的客户端或者服务器端所产生的数据，收集此类数据往往需要先进行埋点。

（2）开放数据

开放数据，即是所有人都可以收集和利用的数据，类如一些网站的数据或者行业的数据报告，不过收集这类数据往往需要利用爬虫技术。

（3）其他平台的数据

其他平台的数据，比如某个电商想要拿自己店铺的经营数据，这个数据原本应该储存在电商软件的，但实际上想要获取到具体的数据还需要借助其他平台的借口来帮助获取数据。

（4）物理数据

物理数据，是指那些在现实生活中产生的数据，比如通过刷脸支付的数据、微信上记录的用户步数等数据。这类数据的获取往往需要借助传感器来进行数据捕获。

（5）主观性数据

主观性数据一般是通过对用户进行调研采访而获取到的数据。

（6）数据库的数据

很多公司都有自己的数据库，有些是自建的也有成购买的，可以用于储存公司日常运营产生的各种数据或者作为知识库使用。

知道6大数据采集来源之后，就可以考虑如何进行数据采集和数据处理了。Smartbi拥有丰富的数据源，可以适应不同的数据源。其不仅能够支持常用的oracle等关系型数据库，还支持多维数据库和各种主流大数据等数据源。