大数据技术的计算模式（这五个大数据ETL工具）

随着数据量的不断增长，企业对用于高级分析的数据仓库项目和系统的需求不断增长。ETL是它们的基本要素。它确保在各种数据库和应用程序中成功进行数据集成。在此ETL工具比较中，我们将研究:

1.ApacheStreamSets

2.ApacheAirflow

3.AWS数据管道

4.AWS胶水

5. Apache NiFi

该ETL意义往往被误解，因为它的英文缩写“简单”的解释，它代表三个数据仓库概念:提取，转换，加载。因此，ETL过程包括:

1.从不同的外部来源提取数据

2.根据业务模型进行转换

3.将数据加载到新仓库中

ETL只是数据移动任务的一部分。Ralph的Kimball书(数据仓库ETL工具包》定义了其三个基本功能:

1.数据以适合分析的格式下载。

2.它补充了其他信息。

3.系统记录并记录数据的来源。

因此，数据不应该只是从一个地方重新加载到另一个地方，而是应该在加载过程中加以改进。例如，ETL开发人员可以添加新的计算或技术属性。跟踪数据在数据库中的显示方式以及更改的方式和时间非常重要。

ETL流程步骤

Web程序员可以将ETL体系结构想象为三个方面的集合:

1.数据源。

2.一个中间区域。

3.数据接收器。

甲数据流是数据从源到接收器的运动。每个阶段都可能非常复杂。创建ETL软件的过程包括不同的挑战:

1.各种外部来源。

2.根据业务规则统一数据。

3.更新的频率和其他特定要求。

因此，IT公司需要对源和目标应用程序的结构有清晰的了解。

各种常见的和基于云的数据集成工具使选择变得非常困难。因此，这里准备了五个可靠的ETL解决方案以及各自优缺点的分析。

一. Apache StreamSets

优点:

1.每个处理器都有单独的每条记录统计信息，并且具有很好的可视化效果，可以有效地进行调试。

2.有吸引力的用户界面。

3.流或基于记录的数据的好工具。

缺点:

1.缺少可重用的JDBC配置。

2.更改一个处理器的设置需要停止整个数据流。

二. Apache Airflow

优点:

1.适合不同类型的任务。

2.友好的用户界面，清晰可见。

3.可扩展的解决方案。

缺点:

1.不适合流作业。

2.需要其他运算符。

三.AWS数据管道

优点:

易于使用的ETL技术价格公道灵活性好

缺点:

没有很多内置功能

四.AWS胶水

优点:

1.支持各种数据源。

2.与AWS服务的良好集成。

缺点:

1.大量的手工工作。

2.灵活性差。

五. Apache Nifi

优点:

1.数据流编程概念的完美实现。

2.处理二进制数据的机会。数据来源。

缺点:

1.简单的用户界面。

2.缺乏实时监控和按记录统计。

正确的ETL实施是您优化成本和加快工作速度的机会。选择ETL工具时，请考虑以下五个条件:系统的复杂性、您的数据要求、开发人员经验、 ETL技术的成本、特殊的业务需求。

,