dap数据采集（DAP数据分析平台介绍）

科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，用数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。

DAP数据分析平台是一款专门用于企业大数据平台构建的产品，它可以对从业务系统或者ODS中抽取来的海量数据进行高效存储、计算、分析并处理。最终将有价值的数据以可视化的形式进行展现，能够有效地帮助企业清晰地分析优劣势，从而调整企业策略，加快企业的信息化发展与整体竞争力。

整体介绍

DAP数据分析平台主要是为了满足企业数据分析的需要而开发的一款产品，不同于一般的BI平台，DAP数据分析平台更侧重数据的聚合，平台预置有数据源注册、ODS注册与管理、数仓配置与数据聚合，从而实现企业业务数据的统一，构建企业统一的、标准的、完整的数据仓库，而数据展现、数据分析、数据报表，以及外部系统数据交互提供支持。

1.产品方案

首先介绍一下DAP的数据中台方案组合框架：

数据中台方案方案主要是的产品组合是DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务，通过执行调度任务调用ESB数据同步流程，实现数据的采集、抽取、转换、传输、调度等操作，基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性，然后通过Portal门户集成平台展现给客户。

2.产品说明

数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品，能够真实、准确、清晰、有效的将企事业内部及行业外部相关数据进行可视化展现，帮助企事业提升行业洞察力、加强决策力，从而提升整体竞争力。

数据分析平台功能有：

1.数据来源（应用系统定义、数据源头配置、ODS数据定义）数仓模型。

2.数仓模型（业务主题、维度配置、事实配置、模型配置、指标管理）。

3.数据调度（规则校验、调度资源、调度任务、调度日志、质量日志、通知日志）。

4.分析模型（数据集配置、立方体配置、业务类报表、多维度分析）。

5.展现模型（导航管理、组件管理、展现主题、装饰管理）。

6.数据服务（接收服务、查询服务、统计服务、指标服务、业务服务）

7.算法模型（算法配置、标签管理、算法日志）。

8.统计分析（数据地图、质量分析、血缘分析、影响分析）。

9.系统管理（组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志）。

3.场景介绍

DAP数据分析平台产品生命周期，从数据来源、数据治理、数据服务、数据展现。

首先要配置需要的业务主题，然后通过调研的指标从来源系统中找需要的库表到ODS中间库，然后是从ODS到数仓，数仓到加工汇总事实表，通过这些进行数据治理和清洗来源系统的数据让分析出来的数据更准确。

通过DAP治理数据进行数据应用，DAP数据应用有2种方式一种数据服务，数据服务可以在DAP中数据服务查看，也可以通接口调用查看，第二种是分析展现，数据展现是通过组件图表、业务报表、多维分析进行展现数据。

数据来源

数据分析数据来源于各个业务系统的数据，通过主题和指标分析需要哪些数据、哪些表、哪些系统需要进行数据分析，在DAP数据分析平台中注册，进行抽取数据，从而根据这些数据来创建我们需要的数据分析模型。

1.功能介绍

数据来源分为应用系统定义注册、数据库来源注册、ODS定义功能，应用系统定义功能是数据来源的业务系统进行定义注册，数据库注册配置是对来源系统数据进行注册，ODS是把业务系统需要进行数据分析表通过ODS不同的来源方式注册到ODS中间库中。

2.配置功能

1.应用系统定义进行注册来源的业务系统：

(1)应用系统列表页面：

(2)应用系统编辑页面：

2.数据库定义进行来源的业务系统数据库注册：

(1)列表页面：

(2)编辑页面注册数据库数仓账户密码，进行测试连接，重新加载后就可以应用。

3.ODS定义：数据来源方式有源库读取、SQL创建、参考表创建、手动表创建。

(1)源库读取创建：

(2)参考表创建：参考表是选择其他业务系统或者ODS中已经存在的表进行参考创建，可以选择需要的字段。

(3)SQL创建存在两种，一种是SQL创建、一种是参考SQL创建：

3.功能展现

通过来源系统注册在数据库配置中进行使用，配置数据来源系统。

通过数据库配置然后配置抽取业务系统需要分析的表，定义ODS后支持查看数据预览。

数据治理

数据治理逻辑是维度表配置、事实表配置、数据调度、模型配置，数据集配置、立方体配置、指标配置。

1.功能介绍

数据治理是对ODS到数仓（维度表、基础事实表）、数仓进行加工（汇总事实表）后，选择维度表和事实表创建数据模型，通过数据模型自动生成数据调度任务，通过调度结合ESB进行数据抽取、清洗，从而创建数仓，然后通过模型创建数据集，通过数据集创建立方体，最后根据模型、数据集、立方体构建指标。

2.配置功能

1.维度表配置：

(1)列表页面：对维度表进行增删改查操作：

(2)编辑页面：选择来源表（支持多表），配置层级策略指标需要的配置。

(3)选择表后进行导入字段，添加字段只能选择来源表的字段或者自己手动添加。

2.事实表配置：

(1)列表页面：对维度表进行增删改查操作：

(2)编辑页面：选择来源表（支持多表），来源表可以选择维度表，也可以选择事实表。

(3)选择表后进行导入字段，添加字段只能选择来源表的字段或者自己手动添加。

3.数据调度

(1)调资源列表页面：

(2)调度资源详情页面：

(3)调度任务：点击执行是手动执行、点击启用是启动定时任务。

(4)编辑页面配置定时任务：

4.模型配置

(1)模型配置列表页面：基础操作外可以进行发布和反发布。

(2)模型配置编辑页面：选择事实表或者维度表，配置关联关系。

5.数据集配置

(1)数据集列表页面：数据基础基础操作、发布服务、数据接口查看、数据预览功能。

(2)数据集编辑页面：选择对应的模型，然后进行数据展现所需要的字段选择、并配置条件。

6.立方体配置

(1)立方体配置列表页面：数据基础基础操作、发布服务、数据接口查看、数据预览功能。

(2)立方体编辑页面：选择对应的数据集，然后进行数据展现需要字段选择和度量、并配置条件。

7.指标管理

(1)列表页面：首先首页的左侧是分组树，右侧为相应的数据表格。

明细页面配置：

3.功能展现

1.数据集配置完支持数据预览功能：

2.立方体也是支持预览功能：

3.指标服务展现：点击发布便可以将对应的指标实例生成相应的服务。

4.指标通知：如果有数据超出阈值的就可以通知给配置管理员，支持（邮件、短信）如下图邮件所示：

一种是超出通知，一种是恢复通知。具体的样式如下：

数据服务

数据服务是对上述数据治理配置的数据进行一个接口化，并调用接口进行可视化展现。

1.功能介绍

数据服务一共有：接收服务、查询服务、统计服务、指标服务、业务服务。

1.接收服务：是对同步ODS创建一个接口，接收服务支持输入入参点击执行进行同步。

2.查询服务：对数据集数据生成一个查询接口，通过查询服务功能可以预览到对应的数据。

3.统计查询：对立方体数据生成一个查询接口，通过查询服务功能可以预览到对应的数据。

4.指标服务：对指标配置生成一个查询接口，通过指标服务功能可以预览到对应的数据并查看到超出阈值的数据支持高亮显示。

5.业务服务：业务服务是通过服务配置功能选择上面配置数据集或者立方体、指标，配置好通过服务查看能够查询对应的业务数据。

2.配置功能

1.接收服务

(1)在ODS配置中选择同步方式为接口推送模式，点击保存后：

(2)列表页面：接收服务中会生成对应的服务地址和入参：

2.查询服务

(1)通过数据集中配置后，点击发布，就能看到数据接口。

(2)发布后在查询服务就可以显示数据服务：

3.统计服务

(1)在立方体中点击发布：

(2)在统计服务生成对应服务：

4.指标服务

(1)配置完指标点击发布后指标管理就会生成出来一个。

5.业务服务

列表页面：列表显示对象名称、对象编码、对象类型、来源名称、是否发布、创建人、创建时间。

新增详情页面：

如果是单体类型下面配置方式：

1.选择对象类型为单条，然后选择对象来源类型、对象来源、对象格式。

2.选择完来源方式点击保存自动生成对应元数据。

3.选择查询条件后支持编辑。

查询条件编辑页面：

来源选择数据集立方体：

树形对象配置如下：

配置标识节点和父节点字段和查询条件：

主从对象模型配置如下：

主从表，主表配置单独表单，选择完主表后，下面从表列表，从表的主表是可以选择的。

点击新增，新增从表数据：从表编辑页面，可以选择主表，主表可以选择主表也可以选择创建好的从表。

元素据配置页面：支持删除、修改目标映射编码。

1.元数据支持添加，可以通过添加配置编辑从表字段信息。

2.元数据页面目标列表信息显示：字段、显示字段（可修改）、显示类型（String、object等）。

3.功能展现

1.接收服务

接收服务中会生成对应的服务地址和入参：

列表页面：

详情页面：

2.查询服务

在查询服务就可以显示数据服务，点击执行。

3.统计服务

在查询服务就可以显示数据服务，点击执行。

4.指标服务

5.业务服务

业务服务数据预览页面点击执行：

是已JSON格式展示数据：

数据展现

数据展现是另一种对数据的应用，通过可视化展现使客户了解公司动态，从而提升企业数据价值。

1.功能介绍

数据展现分为：图表组件、业务报表、多维分析3大类展现。

1.图表组件：通过组件管理配置对应的组件（柱形图、饼图、折线图等）html和js引擎、默认值等，然后在实现类中选择组件结合数据集、立方体、指标数据配置出可视化图表。

2.业务报表：业务报表是选择数据集数据，进行配置出的多表头表格。

3.多维分析：多维分析是通过立方体进行配置多维度多表头的表格。

2.配置功能

1.图表组件

(1)组件管理页面配置：

(2)组件实例配置：组件需要的字段配置、过滤条件、穿透配置。

2.业务报表

(1)列表页面：对业务报表增删改查：

(2)配置页面：选择数据集配置表头信息，支持多表头配置，表头冻结表头、表头合并、数据行合并、支持表头上移下移。

3.多维分析

(1)多维列表页面：

(2)多维编辑页面：双击弹出编辑页面进行配置多维实例。

(3)先设置该多维分析实例的条件、量度、行表头以及列表头，具体的设置页面如下：

(4)预览功能配置：导航选择多维分析组件，然后选择组件实例：

3.功能展现

1.图表组件：

2.业务报表：

3.多维分析：

配置预览：

导航预览：

心得总结

无论是互联网企业，还是传统型企业，都需要数据分析，数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来，从而找出所研究对象的内在规律。在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据，使之成为信息的过程。

1.产品作用

数据分析必须要以数据为先，分析为后。对收集来的大量第一手资料和第二手资料进行分析，以求最大化地开发数据资料的功能，发挥数据的作用。这是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程，而本文介绍的数据分析平台就大大加强了数据治理这块，加强数据应用，无论数据服务和数据可视化展现都要是提升企业数据价值的表现。

2.产品应用

数据中台集成业务系统数据，一般情况展现层的数据不是本身系统的数据，是不可能再去业务系统抽取，那样的话抽取的性能会变差，因为业务系统数据已经到数据中台中而且是治理后标准数据，所以应用从数据中台中获取，而获取的途径就是DAP数据服务

而数据应用另一种可视化展现是对其数据的一种应用方式，通过数据可视化，业务组织可以提高他们在需要时查找所需信息的能力，并且比其他公司更高效地完成这些工作通过数据可视化，业务组织可以提高他们在需要时查找所需信息的能力，并且比其他公司更高效地完成这些工作。

3.产品发展

DAP数据平台是我们数据中台的一部分，有了它就可以提升企业的业务数据价值从数据来源梳理企业的业务数据，把需要可以提升企业业务价值的相关表放到中间库中，通过数据治理整合汇总这些数据，把这些数据变成完整的可观察的数据从而把数据展现出来。

后续DAP可以通过数据检索可以搜索到不同主题、不同类型的业务数据（比如：文档类的数据），数仓数据进行机器学习进行计算，通过计算让客户了解企业了解企业发展趋势，未来走向，通过数据报告配置出企业会议的PPT演讲报告，从而提高企业的数据价值。

本文由@数通畅联原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~

,