有什么好的大数据(每日分享什么是大数据)

点击上方"java全栈技术"关注,每天学习一个java知识点

有什么好的大数据(每日分享什么是大数据)(1)

有什么好的大数据(每日分享什么是大数据)(2)

有什么好的大数据(每日分享什么是大数据)(3)

有什么好的大数据(每日分享什么是大数据)(4)

大数据是具有海量、高增长率和多样化的信息资产,它需要全新的处理模式来增强决策力、洞察发现力和流程优化能力。

Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization.

有什么好的大数据(每日分享什么是大数据)(5)

有什么好的大数据(每日分享什么是大数据)(6)

有什么好的大数据(每日分享什么是大数据)(7)

有什么好的大数据(每日分享什么是大数据)(8)

有什么好的大数据(每日分享什么是大数据)(9)

有什么好的大数据(每日分享什么是大数据)(10)

有什么好的大数据(每日分享什么是大数据)(11)

有什么好的大数据(每日分享什么是大数据)(12)

有什么好的大数据(每日分享什么是大数据)(13)

有什么好的大数据(每日分享什么是大数据)(14)

有什么好的大数据(每日分享什么是大数据)(15)

有什么好的大数据(每日分享什么是大数据)(16)

有什么好的大数据(每日分享什么是大数据)(17)

有什么好的大数据(每日分享什么是大数据)(18)

有什么好的大数据(每日分享什么是大数据)(19)

有什么好的大数据(每日分享什么是大数据)(20)

有什么好的大数据(每日分享什么是大数据)(21)

大数据通常都拥有海量的数据存储。仅根据2013年的统计,互联网搜索巨头百度已拥有数据量接近EB级别、阿里、腾讯声明自己存储的数据总量都达到了百PB以上。此外,电信、医疗、金融、公共安全、交通、气象等各个方面保存的数据量也都达到数十或者上百PB级别。

面对这样规模的数据存储量,依靠单台数据库服务器显然是不够的,需要以分布式文件系统(例如 HDFS)作为基石。

有什么好的大数据(每日分享什么是大数据)(22)

有什么好的大数据(每日分享什么是大数据)(23)

有什么好的大数据(每日分享什么是大数据)(24)

在传统的关系型数据库中,所存储的数据都是结构化的,例如:

有什么好的大数据(每日分享什么是大数据)(25)

但是在现实生活中,信息往往并没有严格的结构限制。比如一个电商网站需要记录如下用户行为:

用户张三, 于某某时间在商品搜索栏搜索了“苹果手机”一词,然后进入 XXX 商铺进行浏览,经过与店家沟通,讨价还价,最终以6000元的价格购买了 iPhone 7 “钢琴黑”款式手机一部。

诸如此类的用户行为数据属于非结构化数据,很难用关系型数据库存储。因此诸多No-SQL数据库(例如 HBase)成为了存储大数据的更好选择。

有什么好的大数据(每日分享什么是大数据)(26)

有什么好的大数据(每日分享什么是大数据)(27)

有什么好的大数据(每日分享什么是大数据)(28)

如果没有更加快速有效的海量数据解决方案,那么如此大量多样的数据不但没有带来更多价值,反而成为了系统的负担。关于这一点,谷歌公司率先提出的MapReduce模型为我们带来了新的道路。

MapReduce可以简单的理解成一种分治方法:把庞大的任务分成若干小任务,交给多个节点进行并行处理,然后再把所有节点的处理结果合并起来,从而大大提升了数据处理效率。(关于MapReduce的详细流程,将会在以后的文章中进行讲解。)

有什么好的大数据(每日分享什么是大数据)(29)

有什么好的大数据(每日分享什么是大数据)(30)

有什么好的大数据(每日分享什么是大数据)(31)

有什么好的大数据(每日分享什么是大数据)(32)

人工智能:

有什么好的大数据(每日分享什么是大数据)(33)

以大数据作为机器学习的训练集,从而训练出拥有一定决策能力的人工智能。典型的代表案例就是谷歌的AlphaGo, 通过大量围棋棋局的学习,最终拥有了打败围棋世界冠军的能力。

商业分析:

有什么好的大数据(每日分享什么是大数据)(34)

从大量的用户行为数据中挖掘出有价值的商业信息。典型代表是著名社交公司LinkedIn,他们通过用户之间的关联关系,绘画出学校、公司、人才之间庞大而复杂的信息网络。不仅如此,LinkedIn还通过大量求职者和招聘方的信息,分析出哪些公司正在迅速扩张,哪些公司正在流失人才,哪些公司之间正在展开人才市场的争夺。这些对于客户公司来说,都是无价之宝。

犯罪预测:

有什么好的大数据(每日分享什么是大数据)(35)

洛杉矶警察局曾经借助一套原本用于预测地震后余震的大数据模型,把过去80年内的130万个犯罪记录数据输入进去,结果发现其预测出的犯罪高发地点与现实惊人的吻合。后来该预测算法经过改进,已经成为了当地警局重要的参考依据,大大降低了当地的犯罪率。

有什么好的大数据(每日分享什么是大数据)(36)

有什么好的大数据(每日分享什么是大数据)(37)

这里所介绍的相关知识,只是作者对于大数据领域的浅层次理解。通过这篇漫画,希望没有从事过IT行业,或者不了解大数据的朋友们能够对大数据有一些初步的认知。

文章转自程序员小灰

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页