apache数据同步(原创手把手带你玩转Apache)

本文约5500字,建议阅读15分钟

本文对利用MADlib项目来创建一个框架,以满足大规模数据量的需求。

随着数据规模的不断扩大,目前,许多现有的分析解决方案都无法胜任大规模数据量的计算任务。利用MADlib项目来创建一个框架,以满足大规模数据量的需求,该框架旨在利用现代计算能力,提供适应业务需求的强大解决方案。

概述

MADlib实现方案来自商业实践、学术研究和开源开发社区的多方面努力,它是一个基于SQL的数据库内置的可扩展的开源机器学习库,由Pivotal与UCBerkeley合作开发。MADlib创始于2011年,当时属于EMC/greenplum,后来Greenplum变成了pivotal的Greenplum。主要由伯克利的学者:Joe Hellerstein发起,Stanford, University of Wisconsin-MADISON和University of Florida也有参与。MAD一词来源于:MagneticAgile、Deep三个词的首字母,意为有吸引力的、快速的、精准深入的,三个单词连在一起,意思是“极好的”,旨在为数据科学家们提供一个极好的机器学习和数据分析平台。

MADlib提供了丰富的分析模型,包括回归分析,决策树,随机森林,贝叶斯分类,向量机,风险模型,KMEAN聚集,文本挖掘,数据校验等。MADlib支持Greenplum,PostgreSQL 以及 Apache HAWQ, In-Database Analytics的特性使其大大扩展了数据库的分析功能,充分利用MPP架构使其能够快速处理海量数据集。

本文将为大家介绍MADlib的基本架构,工作原理及特性,并为开发人员提供快速入门指南。

ADlib创始于2011年,2015年7月MADlib成为Apache软件基金会的孵化器项目,经过两年的发展,于2017年8月成为Apache顶级项目。整个项目和代码是在Apache上是开源的,已经正式发布了MADlib 1.14、MADlib 1.15、MADlib 1.15.1、MADlib 1.16 等多个正式版本。

apache数据同步(原创手把手带你玩转Apache)(1)

Apache MADlib 架构

MADlib有以下三个主要组件:

  • Python 驱动函数
  • C 实现函数
  • C 数据库抽象层

apache数据同步(原创手把手带你玩转Apache)(2)

  • Python 驱动函数

Python 驱动函数位于如下子目录中:

https://github.com/apache/incubator-madlib/tree/master/src/ports/postgres/modules

这些功能是用户输入的主要入口点,主要负责算法的流程控制。一般来说,实现包括验证输入参数、执行SQL语句、评估结果和潜在的循环来执行更多的SQL语句,直到达到收敛标准为止。

  • C 实现函数

大多数位于如下子目录中:

https://github.com/apache/incubator-madlib/tree/master/src/modules

这些函数是特定算法所需核心函数和集合的C 定义。由于性能原因,这些都是在C 而不是Python中实现的。

  • C 数据库抽象层

大多数位于如下子目录中:

https://github.com/apache/incubator-madlib/tree/master/src/dbal

和:

https://github.com/apache/incubator-madlib/tree/master/src/ports/postgres/dbconnector

这些函数试图提供一个编程接口,将所有Postgres内部细节抽象掉,并提供一种机制,使MADlib能够支持不同的后端平台,并专注于内部功能而不是平台集成逻辑。

MADlib架构的主要理念:

  • 在本地数据库中操作数据。无需在多个运行时环境之间进行不必要的数据移动。
  • 利用最好的breed数据库引擎,将机器学习逻辑与数据库特定的实现细节相剥离
  • 利用MPP共享技术,如Greenplum数据库,提供并行性和可伸缩性。
  • 开放的实施维护措施,与Apache社区和正在进行中的学术研究保持密切的联系。

开发人员快速入门指南

准备工作

可以按照MADlib安装指南中的步骤安装MADlib,也可以使用下面的Docker映像指令来安装。

MADlib源代码的组织方式如下:机器学习或统计模块的核心逻辑位于一个公共位置,数据库端口特定的代码位于 ports文件夹中。由于当前支持的所有数据库都是基于Postgres的, 所以Postgres端口包含所有特殊端口的文件,并从中继承 greenplum和 hawq文件。在继续使用本指南之前,建议熟悉一下 MADlib module anatomy 这个文档。

Docker映像

docker映像提供了在PostgreSQL 9.6上编译和测试MADlib所必需的依赖性,可以在 /tool/docker/base/docker file_postgres_9_6中查看到依赖项docker文件,映像位于docker hub上的 madlib/postgres U 9.6:latest,稍后将为Greenplum数据库提供一个类似的Docker映像。

使用Docker文件的一些常用命令:

##1)从docker hub下拉“madlib/postgres”U 9.6:latestyin映像: docker Pull madlib/postgres”U 9.6:latest ##2)启动与MADlib映像对应的容器,将源代码文件夹装入容器: docker run-d-it--name MADlib-v(incubator-madlib目录的路径):/incubator MADlib/MADlib/postgres U 9.6 其中incubator-madlib是MADlib源代码所在的目录。 ##############################################*警告*################################################## #请注意,如上图所示安装时,在“incubator-madlib” Docker容器中的文件夹中所做的任何变动 #将反映在本地磁盘上(反之亦然)。这意味着从Docker容器中删除已装入卷中的数据也会导致本地磁盘中数据丢失。 ############################################################################################################# ##3)容器启动后,连接到它,并构建MADlib: docker exec-it MADlib bash mkdir/incubator madlib/build docker cd/incubator madlib/build docker cmake.. make doc make install ##4)安装MADlib: src/bin/madpack-p postgres-c postgres/postgres@localhost:5432/postgres install ##5)运行其他几个madpack命令: #对所有模块进行运行安装检查: src/bin/madpack -p postgres -c postgres/postgres@localhost:5432/postgres install-check #在特定模块(比如说svm)上运行install check: src/bin/madpack -p postgres -c postgres/postgres@localhost:5432/postgres install-check -t svm #在所有模块上运行dev check(比install check更全面): src/bin/madpack -p postgres -c postgres/postgres@localhost:5432/postgres dev-check #在特定模块上(比如说svm)运行dev check: src/bin/madpack -p postgres -c postgres/postgres@localhost:5432/postgres dev-check -t svm #重新安装MADlib: src/bin/madpack -p postgres -c postgres/postgres@localhost:5432/postgres reinstall ##6)杀死并移除容器(退出容器后): docker Kill madlib docker rm madlib

添加新模块

添加一个名为 “hello_world” 新模块。在这个模块中,实现了一个名为 avg_var的用户自定义的SQL聚合(UDA),它计算表的给定数值列的平均值和方差。在此,将实现一个分布式版本的Welford's online algorithm(Welford在线算法)来计算均值和方差。

与PostgreSQL中的普通UDA不同, avg_ar也可以在分布式数据库上运作,并利用底层分布式网络进行并行计算。使用avg_var也十分简单,用户仅需运行如下psql命令:

apache数据同步(原创手把手带你玩转Apache)(3)

之后,将在屏幕上打印三个数值:均值、方差和名为bath的表格中的行数。

通过以下几步实现:

  • 注册模块。
  • 定义SQL函数。
  • 在C 中实现函数。
  • 注册C 头文件。

此练习的文件的源代码可以在hello world文件夹 中找到。

1.注册模块

在 /src/config/目录下的名为 Modules.yml的文件中添加以下行

apache数据同步(原创手把手带你玩转Apache)(4)

并创建两个文件夹:/src/ports/postgres/modules/hello-world和 /src/modules/hello-world。这两个文件夹的名称应和Modules.yml 中定义的模块名称相匹配。

2.定义SQL函数

在./src/ports/postgres/modules/hello_world文件夹下创建avg_var.sql_in文件,在这个文件中,定义了用于计算均值和方差的聚合函数和其他辅助函数。这些函数将在单独的C 文件中实现,将在下一节中对其进行描述。

在avg_var.sql_in文件的初始部分,必需利用命令行 m4_include('SQLCommon.m4') 运行m4 宏处理器(m4 macro processor)。利用M4在SQL定义中添加平台专属的命令,并在将MADlib部署到数据库时运行。

利用内置的PostgreSQL 命令CREATE AGGREGATE 定义聚合函数avg_var。

apache数据同步(原创手把手带你玩转Apache)(5)

同时定义传递给CREATE AGGREGATE的参数:

  • SFUNC

为每个输入行调用的状态转换函数命名。在这个例子中,状态转换函数avg_var_transition,与avg_var.sql_in在同一个文件定义,之后在C 中得以实现。

  • FINALFUNC

在遍历所有输入行之后,调用最终函数的名称来计算聚合结果。例如:最终函数, avg_v ar_final, 与avg_var.sql_in在同一个文件定义,之后在C 中得以实现。

  • PREFUNC

在遍历每个数据段或分区之后,调用合并函数以合并聚合状态值的名称。Greenplum和HAWQ上的分布式数据集需要合并函数。对于PostgreSQL而言,数据不是分布式的,合并函数并非必需。为了完整起见,我们在本指南中实现了一个名为 avg_var_merge_states的合并函数。

  • INITCOND

状态值的初始条件。在本例中,利用一个全零双数组,分别对应于平均值、方差和行数。

最终函数的遍历和合并,在与avg_var.sql_in同一个文件中作为聚合函数定义。有关这些函数的更多详细信息可以在 PostgreSQL文档中找到。

在C 中实现函数

在文件夹 /src/modules/hello\u world下创建头文件和源文件 avg_ar.hpp和 avg_ar.cpp。在头文件中利用宏DECLARE_UDF(MODULE, NAME)申明最终函数的遍历和合并。例如,转换函数 avg_var_transi tion声明为 DECLARE_UDF(hello_world,avg_var_transition)。在./src/ports/postgres/dbconnector 文件夹下的dbconnector.hpp 文件里定义DECLARE_UDF宏。

在hood下,三个UDF均申明为 dbconnector::postgres::UDF的子类。这些UDF的行为完全由其成员函数决定。

换句话说,只需要在 avg_ar.cpp文件中实现以下方法:

apache数据同步(原创手把手带你玩转Apache)(6)

这里, AnyType类既用于从DBMS传递数据到C 函数,又将返回C 的值。

有关更多详细信息,, 请参阅头文件 TypeTraits _impl.hpp。

转移函数:

apache数据同步(原创手把手带你玩转Apache)(7)

avg_var_transition, 有两个参数,在 avg_var.sql_in中进行定义。第一个是SQL double类型的数组,对应于当前遍历的平均值、方差和行数,第二个是表示当前元组值的double类型。

稍后将描述 class AvgVarTransitionState。基本上,它采用了args[0],SQL双精度数组,将数据传递给适当的C 类型,并将它们存储在state实例中。

通过在AvgVarTransitionState类中加载 = 操作符来在线计算均值和方差。

合并函数

apache数据同步(原创手把手带你玩转Apache)(8)

此外: AnyType& args中包含的参数,在avg_var.sql_in 中进行定义。

详细信息隐含于AvgVarTransitionState 的方法中。

最终函数

apache数据同步(原创手把手带你玩转Apache)(9)

AvgVarTransitionState类加载AnyType() 运算符后可以直接返回状态,AvgVarTransition State 的示例返回AnyType.

桥接类

Below are the methods that overload the operator =for the bridging class AvgVarTransitionState:

通过下述方法为桥接类AvgVarTransitionState: 加载运算符 =

apache数据同步(原创手把手带你玩转Apache)(10)

给定两个数据集的均值、方差和大小,利用Welford方法计算两个数据集组合的均值和方差。

注册C 头文件

在 avg_var.sql_in中定义的SQL函数需要能够从C 文件中找到实际的实现。这只需在 /src/modules/目录下的declarations.hpp文件中添加以下行即可完成

apache数据同步(原创手把手带你玩转Apache)(11)

运行新模块

利用新模块运行一个示例。首先,根据 安装指南中的说明重建并重新安装MADLib,并使用MADlib快速入门指南中的 pati ents数据集进行测试。从 psql终端来看,20名患者中有一半在1年内发生过第二次心脏病发作(yes=1):

apache数据同步(原创手把手带你玩转Apache)(12)

示例:添加一个迭代UDF

在这里,将演示一个稍微复杂一点的示例,该示例要求迭代调用UDA。这种情况经常出现在许多机器学习模块中,在这些模块中,底层优化算法向目标函数的优化方向迭代。在这个例子中,实现了一个简单的对数回归解算器作为迭代UDF。特别是,用户可以在 psql中键入以下命令来训练逻辑回归分类器:

apache数据同步(原创手把手带你玩转Apache)(13)

结果如下:

apache数据同步(原创手把手带你玩转Apache)(14)

这里的数据存储在一个名为 patients的SQL表中。logistic回归的目标是second_attack列,特征是treatment列和trait_anxiety列。数组中的 1项表示模型中的附加偏移项。

将解算器添加到上面创建的 hello_world模块中。主要步骤如下:

apache数据同步(原创手把手带你玩转Apache)(15)

与上一小节中介绍的步骤相比,这里无须修改 Modules.yml文件,因为我们没有创建新模块。另外一点与上一小节的区别是除.sql_in 文件之外,还创建了一个附加的python文件.py_in.,在此文件中实现绝大多数对数迭代。

此练习的文件可以在源代码存储库的 hello world文件夹中找到。注意:该文件夹中不包括__init__.py_in文件。

1.概述

整个逻辑分为三个部分。在simple_logistic.sql_in 中定义了全部的UDF 和UDA。转换、 合并和 最终函数在C 中实现。这些函数共同构成了一个称为 logreg_simple_step的UDA,它从当前状态下进一步来逼近对数回归的目标。最后,在 simple_logistic.py_in中,采用 plpy包在python中实现一个名为 logregr_simple_train的UDF,它迭代调用 logregr_simple_step直到收敛。

注意:在simple_logistic.sql_in 文件中,定义了如下名为logregr_simple_train的SQL 函数:

apache数据同步(原创手把手带你玩转Apache)(16)

其中, python function(hello_world,simple_logistic,logreg_simple_train)的实际实现由hello_world模块中的simple_logistic文件的python函数 logreg_simple_train提供,如下所示:

apache数据同步(原创手把手带你玩转Apache)(17)

2.plplply中的迭代过程

迭代逻辑使用 PL/Python过程语言实现。在simple_logistic.py_in文件的开始部分,导入一个名为 plpy的Python 模块,利用它来实现数据库的命令。使用 plpy实现迭代逻辑很简单,如下所示:

apache数据同步(原创手把手带你玩转Apache)(18)

logregr_simple_step是在 simple_logistic.sql_in文件中定义的UDA,利用/src/modules/hello_world. 目录下的C 文件实现实现转换合并等功能。

__logregr_simple_step 有三个参数,分别为:目标,特征和先前状态。

.状态初始化为 None,在SQL中通过 plpy解释为 null值。

更为复杂的对数回归迭代方案还将包括最优性验证和收敛保证过程,为了简单起见,这里特意忽略这些过程。

有关对数回归的生产级实现,请参阅regress模块。

3.运行新的迭代模块

下面的示例演示了在前面使用的名为patients表上使用 madlib.logreg_simple_train的方法。经过训练的分类模型存储在名为 logreg_mdl的表中,可以使用标准SQL查询查看。

apache数据同步(原创手把手带你玩转Apache)(19)

结语

在本文中,介绍了的基本架构,工作原理及特性,并为开发人员快速入门提供了指南,文中详细描述了添加一个迭代UDF 的详细步骤,希望对大家入门有所帮助。

作者简介

陈之炎,北京交通大学通信与控制工程专业毕业,获得工学硕士学位,历任长城计算机软件与系统公司工程师,大唐微电子公司工程师。目前从事智能化翻译教学系统的运营和维护,在人工智能深度学习和自然语言处理(NLP)方面积累有一定的经验。

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页