大数据的核心和基础（浅谈大数据）

大数据的起源:

大数据概念最初起源与美国，是由思科，威睿，甲骨文，IBM等公司倡议发展起来的。早在1980年，著名未来学家托夫勒在其所著的《第三次浪潮》中就热情地将“大数据”称颂为“第三次浪潮的华彩乐章”。《自然》杂志在2008年9月推出了名为“大数据”的封面专栏。从2009年开始“大数据”才成为互联网技术行业中的热门词汇。

最早应用“大数据”的是麦肯锡公司（McKinsey）.对“大数据”进行收集和分析的设想，来自于世界著名的管理咨询公司麦肯锡公司。麦肯锡公司看到了各种网络平台记录的个人海量信息具备潜在的商业价值，于是投入大量人力物力进行调研，在2011年6月发布了关于“大数据”的报告，该报告对“大数据”的影响、关键技术和应用领域等都进行了详尽的分析。麦肯锡的报告得到了金融界的高度重视，而后逐渐受到了各行各业关注。

大数据的发展历史：

一、萌芽阶段：20世纪90年代到21世纪的样子，数据库技术成熟，数据挖掘理论成熟，也称数据挖掘阶段。

二、突破阶段：2003-2006年，非结构化的数据大量出现。传统的数据库难以应对，也称非结构化数据阶段。

三、成熟阶段：2006——2009年，谷歌公开发表两篇论文《谷歌文件系统》和《基于集群的简单数据处理:MapReduce》，其核心的技术包括分布式文件系统GFS，分布式计算系统框架MapReduce，分布式锁Chubby，及分布式数据库BigTable，这期间大数据研究的焦点是性能，云计算，大规模的数据集并行运算算法，以及开源分布式架构（hadoop)。

四、 应用阶段：2013年大数据技术开始向商业，科技，医疗，政府，教育，经济，交通，物流及社会的各个领域渗透，因此2013年也被称为大数据元年。

大数据的常用技术：

大数据工程师技能图

一 .大数据基础：

Linux、Docker、KVM、 MySql基础、Oracle基础、MongoDB、redis以及hadoop、 mapreduce、 hdfs 、yarn等。

二 .大数据存储阶段

hbase、 hive 、sqoop

三 .大数据架构设计阶段

Flume分布式 、 Zookeeper 、 Kafka

四 .大数据实时计算阶段

Mahout 、 Spark 、 storm

五 .大数据数据采集阶段

Python 、Scala

六 .大数据商业实战阶段

大数据商业实战阶段需掌握的技术有：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用