对大数据行业的认识（关于大数据行业的四大疑问）

随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。

而大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。

换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

大数据工程师就是拥有这种发现、发掘、处理加工能力的人才。

问：大数据工程师是干什么的呢？

答：大数据工程师是从事大数据采集、清洗、分析、治理、挖掘等技术研究，并加以利用、管理、维护和服务的工程技术人员。

问：大数据工程师主要负责哪方面的工作？

答：

1.研究、开发大数据采集、清洗、存储及管理、分析及挖掘、展现及应用等技术；

2.研究、应用大数据平台体系架构、技术和标准；

3.设计、开发、集成、测试大数据软硬件系统；

4.大数据采集、大数据清洗、大数据建模与大数据分析；

5.管理、维护并保障大数据系统稳定运行；

6.监控、管理和保障大数据安全；

7.提供大数据的技术咨询和技术服务。

问：大数据工程师需要具备哪些能力？

数学及统计学相关的背景

相关互联网公司对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。

缺乏理论背景的数据工作者，更容易进入一个技能上的危险区域（Danger Zone）—一堆数字，按照不同的数据模型和算法总能捯饬出一些结果来，但如果你不知道那代表什么，就并不是真正有意义的结果，并且那样的结果还容易误导你。

计算机编码能力

实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。

举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。

即使在某些团队中，大数据工程师的职责以商业分析为主，但也要熟悉计算机处理大数据的方式。

对特定应用领域或行业的知识

大数据工程师这个角色很重要的一点是，不能脱离市场，因为大数据只有和特定领域的应用结合起来才能产生价值。

所以，在某个或多个垂直行业的经历能为应聘者积累对行业的认知，对于之后成为大数据工程师有很大帮助，因此这也是应聘这个岗位时较有说服力的加分项。

问：大数据工程师的职业发展如何？

答：由于大数据人才数量较少，因此大多数公司的数据部门一般都是扁平化的层级模式，大致分为数据分析师、资深研究员、部门总监3个级别。

大公司可能按照应用领域的维度来划分不同团队，而在小公司则需要身兼数职。

有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类，而露天煤矿、深山煤矿的挖掘成本又不一样。

与此类似，大数据并不在“大”，而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多从业者而言，如何学会利用这些大规模数据是赢得竞争的关键。