数据可视化深度解析(原始数据数据清洗)
“大数据分析”这么高大上,怎么讲才能最通俗呢,做饭和大数据有什么关系呢?请听下面分析:
第一阶段:
菜地里的毛菜(原始系统的数据,有错误,不精准,毛菜有泥巴,有黄叶子),相当于ERP,PDM系统里面的原始数据。
第二阶段:
从菜地里采集到家,分门别类的堆在一起(初步去掉泥巴,黄叶子,分类堆放),相当于从原系统到ODS,ODS的意思是操作数据,即原始系统中的操作数据的一个副本,与原始数据是一模一样的,叫贴源,这个过程就叫数据采集、清洗、转换,即ETL干的事情,这个阶段叫初加工。
第三阶段:
把拿回家的各种菜洗净,去皮,按大小分类,去掉小的、烂的蔬菜,可以卖给超市了,对BI项目来说,就是从ODS到数据仓库的过程,数据的精加工过程,去伪存真,也要用到ETL来清洗转换,对缺项的数据补充完整,比如合并数据,合并字段,增加主数据描述字段,补充分类等。
第四阶段:
从菜农卖到超市,超市还要经过一次加工,比如包装成一小包一小包的,把蔬菜放在一起,水果放在一起,便于顾客直接购买,这一步就是从数据仓库到数据集市的过程,数据集市就是包好、称好的净菜,价签已经打好的了,顾客直接付款可以拿走了,从数据仓库到数据集市就是形成一个一个的数据立方体,这个立方体的数据是加工好的,可以单独发布出去,离线使用,相当于一个execl数据文件,你可以用EXECL工具打开,也可以用WPS打开,打开以后,可以用表格表示,也可以用图表表示。
第五阶段:
妈妈配菜,妈妈根据家人一天要吃的菜肴规划,挑选各种各样的菜、肉组合在一起,有的直接可以食用,有的需要再加工,即烹调,然后端出来摆到餐桌上,家人只需要带一张嘴即可享用,对BI项目来说,就是报表的制作过程,业务分析人员,根据领导的要求,按照各个主题需求,从各个数据立方体中、或者一部分从数据仓库中取一些数据组合起来,并且定义展现方式,即把报表做好,发布出来,放到门户上,给与权限控制,哪些人可以享用这桌美味,这就是报表制作这个阶段干的事情,所以说,业务人员是否可以拖拽制作报表,关键看前面的数据立方体准备好没有,相当于是这样的,不是人人都是烹调高手,但是超市里面有很多配好的菜(葱姜蒜都有了),你只要拿回去放放锅里炒5分钟或者蒸煮10分钟,端出来即可,不难吧。至于加工的工具是微软家的锅还是IBM家的灶,或者oracle家的瓢,有什么关系呢,这些都是报表制作工具(烹调工具而已)。
第六阶段:
享受美味佳肴,把做好的一桌筵席,放到门户上,当然是给有权限的人享受,这就是管理驾驶舱噻。
,
免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com