大数据技术需要什么软件（大数据软件有哪些）

大数据技术庞大复杂，基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。

大数据技术体系

查询引擎

1、Phoenix

简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。

2、Presto

简介：Facebook开源的数据查询引擎Presto ，可对250PB以上的数据进行快速地交互式分析。

3、Shark

简介：Shark即Hive on Spark，本质上是通过Hive的HQL解析。特点就是快，完全兼容Hive。

4、Pig

简介：Pig是一种编程语言，它简化了Hadoop常见的工作任务。

5、Cloudera Impala

简介：Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速，交互式的SQL查询。

6、Apache Drill

简介：Apache Drill是是一个能够对大数据进行交互分析、开源的分布式系统。

7、Hive

简介：hive是基于Hadoop的一个数据仓库工具。

8、Apache Tajo

简介：Apache Tajo项目的目的是在HDFS之上构建一个先进的数据仓库系统。

---

流式计算

1、Facebook Puma

简介：实时数据流分析。

2、Twitter Rainbird

简介：Rainbird一款基于Zookeeper, Cassandra, Scribe, Thrift的分布式实时统计系统。

3、Twitter Storm

简介：Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架。

迭代计算

1、Apache Hama

简介：Apache Hama是一个纯BSP（Bulk Synchronous Parallel）计算框架。

2、Apache Giraph

简介：Apache Giraph是一个可伸缩的分布式迭代图处理系统。

3、、HaLoop

简介：迭代的MapReduce，HaLoop——适用于迭代计算的Hadoop 。

4、Twister

简介：Twister， 迭代式MapReduce框架。

---

离线计算

1、Hadoop MapReduce

简介：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

2、Berkeley Spark

简介：Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行，能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。

3、DataTorrent

简介：DataTorrent基于Hadoop 2.x构建，是一个实时的、有容错能力的数据流式处理和分析平台。

键值存储

1、LevelDB

简介：Leveldb是一个google实现的非常高效的kv数据库。

2、RocksDB

简介：RocksDB在代码层面上是在LevelDB原有的代码上进行开发的。

3、HyperDex

HyperDex是一个分布式、可搜索的键值存储系统。

4、TokyoCabinet

简介：日本人Mikio Hirabayashi（平林干雄）开发的一款DBM数据库。

5、Voldemort

简介：Voldemort是一个分布式键值存储系统。

6、Amazon Dynamo

简介：Amazon Dynamo 是一个经典的分布式Key-Value 存储系统。

7、Tair

简介：tair 是淘宝自己开发的一个分布式 key/value 存储引擎。

8、Apache Accumulo

简介：Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案。

9、Redis

Redis是一个高性能的key-value存储系统。

---

表格存储

1、OceanBase

简介：OceanBase是一个支持海量数据的高性能分布式数据库系统。

2、Amazon SimpleDB

Amazon SimpleDB是一个分散式数据库，以Erlang撰写。

3、Vertica

简介：Vertica基于列存储。相比传统面向行存储的数据库具有巨大的优势。

4、Cassandra

简介：Cassandra是一套开源分布式NoSQL数据库系统。

5、HyperTable

简介：Hypertable是一个开源、高性能、可伸缩的数据库。

6、FoundationDB

简介：支持ACID事务处理的NoSQL数据库。

7、HBase

简介：HBase是一个分布式的、面向列的开源数据库。

文件存储

1、CouchDB

简介：CouchDB是用Erlang开发的面向文档的数据库系统。

2、MongoDB

简介：MongoDB 是一个基于分布式文件存储的数据库。

3、Tachyon

简介：Tachyon是一个分布式内存文件系统。

4、HDFS

简介：Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。

---

资源管理

1、Twitter Mesos

简介：Apache Mesos是由加州大学伯克利分校的AMPLab首先开发的一款开源群集管理软件

2、Hadoop Yarn

简介：Hadoop 新 MapReduce 框架 Yarn。

,