数据治理基础数据(数据模型体系构建要点及实践)

数据治理基础数据(数据模型体系构建要点及实践)(1)

使用建立模型的方式对事物进行描述,可以更形象、直观地揭示事物的本质特征,帮助人们更加全面、深入认知事物,找到事物的解决方案。在生产生活中,为了便于使用计算机技术对客观事物进行管理,就需要对客观事物进行抽象、模拟。而数据模型正是对现实世界数据特征的模拟和抽象,是用于提供信息表示和操作手段的形式构架

一、什么是数据模型?

数据建模设计,可以通过对不同系统的分析、预测,实现对系统的最优控制。恰当合理、符合规范的数据模型,能够使企业内数据的分布更加科学,大幅提升数据使用率。

二、数据模型对于数据治理的重要性

数据模型,是体现企业核心数据需求的重要元数据的集合。在数据质量方面,它可以通过提供关键的元数据和业务规则输入,推动企业数据质量评估规则和数据标准的优化和建设;在数据安全方面,数据模型可按需标注敏感信息,方便组织参考制定数据安全规则,判断数据权限设置和脱敏需求;在数据存储方面,数据模型提供的规范结构可以大大减少数据存储操作时出现异常的情况;在数仓和BI的建设方面,数据模型可提供的整体数据视角和专业维度模型必不可少。

在数据治理工作中,总结问题并定义关键数据后,可通过在数据模型中构建相应的治理政策和安全规程,控制安全问题的发生。安全、透明、合理、规范的数据建模过程可以加强数据的安全性,提高数据使用率和整合效率。

构建数据模型体系是数据治理工作的重要部分,需要在确定统一标准和技术规范的基础上,在解决现实问题的同时,充分考虑未来的发展预期和可能出现的问题。

三、数据模型体系如何构建

1、数据模型体系的结构

数据模型体系是数据的核心部分,也是数据生命周期的起点。数据模型体系结构具体可参考下图(图一):

数据治理基础数据(数据模型体系构建要点及实践)(2)

2、数据模型体系设计的原则

在设计数据模型体系时,应充分借鉴国际上、行业内的成熟经验,确保设计成果的先进性、可靠性,再根据企业需求形成企业自身独有的数据模型体系。同时,数据模型设计应的相对稳定,支持模型的扩展与优化,进而保证企业信息资源的可持续利用。

(1)数据编码原则

唯一性:同一系统内一个编码只能代表一种对象,避免一“物”多码和一码多“物”现象;

● 完整性:原则上,企业所有的对象都应编码。以保持编码的完整性;

● 准确性:对编码的定义和描述必须简洁准确,不能模棱两可。对于易变动的属性应通过独立的数据项进行描述;

● 适应性:设计编码规则时,应全面考虑各个组织、业务域使用者的需求;

● 继承性:尽量沿用已普遍使用的编码,有选择性地借鉴国标行标编码;

● 拓展性:设计编码结构和位数容量时要考虑未来业务、运营、管理的发展变更,预留编码扩展空间;

● 稳定性:编码要统一且有一贯性,编码及编码规则一经确定,不可轻易更改,以免造成数据混乱和丢失;

● 易用性:编码应尽量简短,规则应尽量简单,易于联想和录入,方便对数据的维护和使用。

(2)数据分类原则

● 维度一致:同一类别结构中,划分维度和标准要保证全部统一,不允许出现不同标准的分类方式;

● 粒度统一:一个完整的类别结构中,应尽量避免相同层级的类别划分有较大的粒度差别和重叠。类别结构的层次不一,会增加后期管理的难度;

● 避免出现“其他类”:应全面考虑类别的划分维度和完整性,原则,杜绝出现“其他类”,避免错放、乱放行为造成编码混乱;

● 允许多类别结构的存在:在建立类别结构的同时允许旧的类别结构继续使用,既保证类别结构的科学和完整,又沿袭了传统习惯,增强项目实施可控性。

3、信息模型体系设计原则

信息模型体系包括:物资数据模型、客户数据模型和供应商数据模型等。下面以中翰软件的物资数据模型管理要求(图二)为例:

数据治理基础数据(数据模型体系构建要点及实践)(3)

数据信息模型,又可被称作静态数据中心模型(见图三),每一类模型都可分为三个部分,即“编码属性”“公有属性”和“私有属性”。

数据治理基础数据(数据模型体系构建要点及实践)(4)

“公有属性”中又分为“基础数据”和“业务数据”。其中,公有基础数据即传统定义的“主数据”部分。主数据包含了编码数据,但是为了更清晰地描述,一般建议专门建立公有基础数据(主数据)视图进行区别管理。

对于公有业务数据,其他系统需要引用后才能使用,为了规范管理,避免出现二次输入的错误,公有业务数据也需要单独建立视图进行区别管理。

“私有属性”分为“业务系统私有属性”和“组织机构私有属性”两部分,这里的私有属性都属于基础数据,不涉及业务数据。私有业务数据是业务系统中的交易性动态数据,无共享性,变化频率高,需要在后期的BI或者数据中心中单独管理。

4、要点总结

● 充分调研企业管理体系现状,结合企业未来的管理目标和规划;

● 参照国家标准、行业标准、企业现有标准;

● 在企业内广泛征求各级相关人员的建议和意见,审慎讨论;

四、数据治理中如何实现对数据模型的管理

1、数据模型管理工具

许多企业在进行数据模型的构建与变更工作时,常常因缺失规范的管理流程而饱受诟病。模型构建不经审核、不符合规范、模型变更难以追溯的情况时有发生。

中翰MDC组件,是中翰研发的静态数据中心管理平台,可满足企业静态数据的全面治理,实现多系统、多组织、多维度建模方式。可结合中翰研发的EDP组件(体系构建平台,提供过程管理和知识转移服务)实现对企业数据模型构建、变更的标准化过程管理。

数据治理基础数据(数据模型体系构建要点及实践)(5)

数据治理基础数据(数据模型体系构建要点及实践)(6)

2、数据模型管理制度&标准规范

中翰软件将数据质量管理作为工作核心,重视制度保障。多年来,在中翰的帮助下,许多企业根据自身情况建立了相应的数据管理制度。在数据模型管理层面,主要包括:数据模型内容、数据模型管理内容、数据模型管理过程等几方面内容。

除此之外,中翰十分注重标准层面的数据治理工作,在“模型规范化”版块下规定了相应的工作范围和要求。数据治理进入运维阶段后,中翰还将数据模型编码手册的编制和提供列入标准化运维体系,便于企业进行数据模型的扩展与优化,进而保证企业信息资源的可持续利用。

数据治理基础数据(数据模型体系构建要点及实践)(7)

3、经验积累

在17年数据治理工作实践中,中翰通过各类工业企业项目积累了丰富的经验,收集整理了1000多万条来自各行业的数据模型,为帮助企业科学合理实现数据模型体系的构建和数据模型的管理打下了坚实的基础。

数据治理基础数据(数据模型体系构建要点及实践)(8)

(山东中翰软件有限公司)

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页