云场景实践研究第79期(云场景实践研究第65期)

五叶草利用阿里云MaxCompute,为某世界500强快消品零售巨头搭建了企业级数据仓库。依托其强大的海量数据处理能力,有效降低了时间人力成本,提升了工作效率,使客户可以将更多的精力投入到业务升级中去。


采用的阿里产品

阿里云MaxCompute


为什么使用阿里云

MaxCompute,具有强大的海量数据处理能力,能够有效降低时间人力成本,提升工作效率,使客户可以将更多的精力投入到业务升级中去。


关于五叶草

五叶草大数据有限公司是南京高新区阿里巴巴创新中心基地本地运营商,是南京首家大数据、云计算、人工智能、物联网专业孵化培训基地。阿里云数加(大数据平台)金牌合作伙伴,阿里云职业认证培训体系课程授权合作伙伴和指定运营商。其业务包括:五叶草指数咨询服务、大数据行业解决方案、大数据职业认证培训、阿里云大数据实验室、五叶草大数据私董会、大数据项目孵化加速、大数据生态投资基金、大数据众智生态集市等。


面临的问题

由于部分子系统未打通、业务逻辑繁杂,客户的业务分析工作主要在线下人工完成,分析时间长、统计口径不一、数据质量参差不齐。


为什么选择阿里云

利用MaxCompute,五叶草为某世界500强快消品零售巨头搭建了企业级数据仓库。在将数据存储在MaxCompute后,依托其强大的海量数据处理能力,原先需要花数小时更新的报表只在10分钟左右即可完成,有效降低了时间人力成本,提升了工作效率,使客户可以将更多的精力投入到业务升级中去

2.基础数据层

所有清洗、整合、运算工作应当放在基础数据层,避免对同步表里数据进行操作。以增量更新基础表为例,通过使用下面的方法,五叶草实现了每天增量更新数据到全量基础表的新分区,当天增量与昨天全量合并,数据存在冲突时优先保留增量记录

云场景实践研究第79期(云场景实践研究第65期)(1)

其中dwd_dummy_data为全量基础表,存放昨天的全量数据;ods_dummy_data为增量同步表,存放今天的增量数据。

由于数据更新之后插入了新分区,保留的基础表原始数据就为后面数据比对提供了极大的便利。客户部分数据源是由其他第三方维护的,出现过本月客户及该第三方协商对上月数据进行了修改,但是没有将该操作提前告知五叶草,最终导致上月月报结果与客户BI部门统计有出入。通过与客户提供的数据比对,五叶草发现与原始数据不一致的地方,在测试环境中对历史数据复现了相同的操作,并重跑了之后的任务,最终上月月报结果与客户BI部门结果一致。

3.多维数据层、数据应用层

在基础数据层,通过清洗、整合、运算得到的表为基本的维度表、事实表。需要面向业务,计算出业务指标后生成一张多维度表,并最终展现给客户。根据进销存、人货场财等分析思路,可以沿着某一方向深挖下去,下面展示了几张从人、场、货三个方向可以分析得出的多维度表,以及所需的基础数据。五叶草同时也在打通更多的数据通路。

云场景实践研究第79期(云场景实践研究第65期)(2)

云栖社区场景研究小组成员:董黎明,仲浩。

本文为云栖社区原创内容,未经允许不得转载。

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页