大数据时代背景应用和发展趋势（大数据时代-概念）

大数据时代

一、大数据时代

（一）海量数据

1.数据：是载荷或记录信息的按一定规则排列组合的物理符号。可以是数字、文字、图像，也可以是计算机代码。对信息的接收始于对数据的接收，对信息的获取只能通过对数据背景的解读。

2.海量数据：数据量太大，导致两种情况:一是无法在较短时间内迅速解决，二是无法一次性装入内存。

3.海量数据分析处理：当前，越来越多的业务部门都需要操作海量数据，如规划部门的规划数据，水利部门的水文、水利数据，气象部门的气象数据，这些部门处理的数据量通常都非常大。它包括各种空间数据、报表统计数据、文字、声音、图像、超文本等各种环境和文化数据信息，从大规模的、没有关系的数据中获得我们所需要的信息，我们称之为海量数据分析处理。

共享是时代的选择

二、大数据相关问题

（一）大数据时代来临

大数据时代无可争议的来临了，源自全球数十年的技术积累，但仅用了最近两三年时间，便迅速渗透到各个行业。相比十几年前的互联网泡沫，大数据的发展趋势更加实际、与企业业务紧密相关、盈利模式也更加清晰。业界几乎一致认同，由大数据推动的行业变革，将会对企业竞争模式产生颠覆性影响。

在世界杯期间，IBM和腾讯展开了一场以社交大数据分析为基础的全新媒体报道模式的探索，在这次合作中，利用IBM社交大数据技术，腾讯实现了针对微博等社交媒体平台上的信息进行大数据分析，开创了紧抓球迷需求的、更新颖、更生动、更个性化的世界杯赛事报道，实现了全新的赛事体验。

这个案例仅仅展现了大数据技术和能力的一部分，社交大数据分析价值远不止于此。大数据的商业价值，也需要我们从更广阔的视角来理解。

（二）大数据蕴含大价值

大数据分析为何如此重要？这是因为我们整个社会生活模式、消费模式都在不断发生改变：截至2013年6月底，我国网民数量达到5.91亿，较2012年底增加2656万人。手机网民规模达4.64亿，网民中使用手机上网的人群占比提升至78.5%;即时通信在网民中的覆盖率达到了86.9%。其中，微信覆盖率为61.9%;社交网站(包含QQ空间)覆盖率为60.7%，微博覆盖率为55.4%。

数据显示，社交媒体已经成为企业寻找客户资源的最大的数据库，以及收集反馈和传播市场信息的主要途径。这些看似随意和杂乱无章的社交大数据中，其实蕴含着无穷的价值，是企业未来的利润来源。

客户的生活和消费模式正在发生改变，每个企业都在这场巨大的变革中寻求着新的技术和能力，希望在大数据的变革浪潮中抓住成功机会。可喜的是，中国的CMO已经意识到营销管理在将来的巨大变化，并且已经开始在投资/整合技术与分析方面做出相应的准备。

在IBM每年实施的调研中，中国的CMO罗列出了可能对企业营销管理产生影响的13个因素，其中“数据爆炸”排名第一，占到85%的比例;排名第二的因素则是“社交媒体”，占到了75%的比例。调研还显示了CMO为了应对数据爆炸和社交媒体所愿意进行的改变，其中70%的CMO认为“技术投资”是应对大数据挑战的首要任务。

（三）针对行业的定制化大数据分析

社交大数据应该为企业提供社交环境下客户相关信息的支持，从初期了解客户、了解市场开始，进而影响到产品设计和服务流程改进，并渗透到销售的环节，最终留住老客户并拉动新客户。所以我们看到企业的大数据应用应该是一个闭环型的流程，并且需要针对不同的行业特征提供定制化的解决方案。

我们首先需要理解客户的行业应用特征，了解客户对大数据分析的期望和需求，梳理大数据分析的框架结构，对数据来源进行归类和分析，让数据分析的引擎理解这些信息及其背后蕴含的潜在价值，并针对不同的客户需求建立大数据分析的模型，这样大数据分析架构才能够真正适应不同行业的个性化需求。

从技术角度看，巴西世界杯可说是一次跑在数据上的世界杯。在互联网时代下，用户通过移动终端在社交媒体上创造了海量的信息，IBM和腾讯充分利用了身边的海量社交信息，了解并引爆观众的焦点，并从媒体的角度加以解读。这样的报道模式不仅仅是腾讯的专利，在更多体育赛事中，社交大数据都得到更充分的利用。IBM结缘体育已经几十年，参与支持了奥运会、四大满贯网球赛事等多项体育盛会的报道。今天体育赛事的报道和传播需求已经发生了很大的变化，具体包括三点：

1.面对受众更加细分。今天媒体面对的受众不再是抽象的一群人，而是具象的某一类、甚至某一个人。就像在腾讯世界杯报道中，我们为每位球星的球迷绘制差异化的个性形象图一样，媒体需要了解每个人的特点和喜好，并进行针对性的传播。因此，也需要每个受众的个体做出相应的反馈。

2.获得真实的反馈。媒体长期以来希望了解受众的反馈，但是反馈是否真实非常重要。传统的市场调研往往带有一定的局限性，取样数量有限，也并不能真实反应受众最直接的想法和观点。社交大数据平台则很好的补足了这一点，拿球赛直播来说，每个受众都在社交平台上自由的谈论某位球星的表现，这是最真实的观点和情绪的表达，因而格外宝贵。

3.从单向传播转为双向互动。对媒体来说，500万收视观众和500万积极互动的受众是非常大的区别，这些积极的互动群体可以促进媒体的二次传播，强化媒体的影响力，进而帮助媒体行业促进自己的收入、销售和后续发展。

大数据不仅驱动传媒行业发生变革，更多行业都在这场大数据浪潮中发生改变。举例来说，在快消品行业中，当客户购买一杯饮料时，究竟是喜欢饮料的口感、还是包装时尚感、还是更看重低热健康这些因素，对饮料供应商来说是十分宝贵的信息。社交媒体平台提供了最广泛的人群样本和最真实的用户反馈，通过社交大数据分析，饮料供应商了解用户购买饮料的背后原因，就能调整产品定位，推出适合目标消费人群的产品。

而在航空业中，航空企业家开通航线往往涉及到巨大的成本投入，一条航线开通后，即使只有30多个人乘坐，也必须按时起飞。如果能够通过社交大数据分析年轻人的度假、旅游的热点区域，和偏爱喜好，就能够判断开通一条航线之后的航空收益，并针对不同的度假人群，如年轻情侣、成熟家庭等推出不同的定制化服务。

针对不同行业的定制化大数据需求，IBM提供了强大的大数据支持团队帮助客户应用大数据分析，例如IBM研究院团队对Watson认知计算有深入把握，了解如何通过Watson认知计算平台进行客户的情感、性格和行为分析;IBM全球信息科技服务团队则基于Softlayer云计算平台为大数据基础架构提供了强劲的支持;IBM 全球业务咨询服务团队拥有多年行业服务经验，对媒体、交通、零售、金融、电信等多个行业核心业务拥有深入理解，帮助客户从自身需求出发，制定合理的大数据执行战略。这些力量的融合才使得大数据的价值能够真正释放。

大数据的应用前景远远不止于此。伴随着信息科技的进步，计算、存储能力的持续提升，开采这些大数据金矿将成为更普遍和必要的商业竞争手段。数据将成为企业做大做强的战略性资产，甚至推动行业融合兼并。对国家来说，数据资源以及对数据资源的利用水平，更是体现一个国家综合国力的重要组成部分，成为陆、海、空权益之外的另一种国家核心资产。

（四）大数据应用成功的关键

大数据目前已经成为万众瞩目的焦点，已经有众多企业在拼命把自己的数据投付使用、希望借此为重要决策提供支持。

　　取得大数据项目成功的关键在于构建一套迭代型方案，鼓励现有员工参与并使用，从而在一系列无关紧要的失败中学习知识并积累经验。

　　大数据绝对是项转折性的伟大技术成果。根据Gartner公司的调查，2013年中64%的受访企业表示已经购买或者正计划在大数据系统领域进行投资，这一比例高于2012年调查中的58%。越来越多的企业开始深入探索自己的数据，尝试利用蕴藏在其中的信息最大程度减少客户流失、分析财务风险并改善客户体验。

（五）大数据项目遭遇失败的8个原因

　　在这64%认同大数据思路的受访者中，又有30%已经在大数据技术方面投入资金、19%计划在未来一年中进行投资、另外15%则计划在未来两年内进行投资。不过在Gartner的全部720位调查对象中，只有不到8%已经实际部署了大数据技术方案。

　　这样的结果实在很糟糕，不过造成项目失败的理由明显更加糟糕：大多数企业根本不知道自己在迈入大数据领域后应该做些什么。因此，多数企业开出可观的薪酬数字来招徕并雇用数据科学家。

　　由于众多企业在探索自有数据的过程中完全是在胡打误撞，因此在意识到这一点后、他们决定向能带来更具可预测性方案的专业人士求援(包括认为数据科学家能够奇迹般地随手化解他们面临的现实难题，甚至还有不少更夸张的预期)。Gartnerwngr Svetlana Sicular为我们汇总出8种导致大数据项目失败的常见原因，它们分别是：

　　1.管理层阻力。尽管数据当中包含大量重要信息，但Fortune Knowledge公司发现有62%的企业领导者仍然倾向于相信自己的直觉，更有61%的受访者认为领导者的实际洞察力在决策过程中拥有高于数据分析结论的优先参考价值。

　　2.选择错误的使用方法。企业往往会犯下两种错误，要么构建起一套过分激进、自己根本无法驾驭的大数据项目，要么尝试利用传统数据技术处理大数据问题。无论是哪种情况，都很有可能导致项目陷入困境。

　　3.提出错误的问题。数据科学非常复杂，其中包含专业知识门类(需要深入了解银行、零售或者其它行业的实际业务状况);数学与统计学经验以及编程技能等等。很多企业所雇用的数据科学家只了解数学与编程方面的知识，却欠缺最重要的技能组成部分：对相关行业的了解。Sicular的观点很对，她表示大家最好能从企业内部出发寻找数据科学家，因为“学习Hadoop比学习相关行业的知识更简单”。

　　4.缺乏必要的技能组合。这项理由与“提出错误的问题”紧密相关。很多大数据项目之所以陷入困境甚至最终失败，正是因为不具备必要的相关技能。通常负责此类项目的都是IT技术人员——而他们往往无法向数据提出足以指导决策的正确问题。

5.在大数据技术之外遇到了其它意外状况。数据分析仅仅是大数据项目当中的组成部分之一，访问并处理数据的能力同样重要。除此之外，常常被忽略的因素还有网络传输能力限制与人员培训等等。

6.与企业战略存在冲突。要让大数据项目获得成功，大家必须摆脱将其作为单一“项目”的思路、真正把它当成企业使用数据的核心方式。问题在于，其它部门的价值或者战略目标有可能在优先级方面高于大数据，这种冲突往往会令我们有力无处使。

　　7.大数据孤岛。大数据供应商总爱谈论“数据湖”或者“数据中枢”，但事实上很多企业建立起来的只能算是“数据水坑儿”，各个水坑儿之间存在着明显的边界——例如市场营销数据水坑儿与制造数据水坑儿等等。需要强调的是，只有尽量缓和不同部门之间的隔阂并将各方的数据流汇总起来，大数据才能真正发挥自身价值。

　　8.回避问题。有时候我们可以肯定或者怀疑数据会迫使自身做出一些原本希望尽量避免的运营举措，例如制药行业之所以如此排斥情感分析机制、是因为他们不希望将不良副作用报告给美国食品药品管理局并承担随之而来的法律责任。

在这8条理由中，大家可能已经发现了一个共同的主题：无论我们如何高度关注数据本身，都会有人为因素介入进来。即使我们努力希望获取对数据的全面控制权，大数据处理流程最终还是由人来打理的，其中包括众多初始决策。例如，选择哪些数据进行收集与分析、向分析结论提出哪些问题等等。

通往未来的路上不能停留

三、大数据的应用

（一）大数据改变未来

大数据热潮最近的一次推力来自于2011年10月份McKinsey&Company发布的报告《大数据：创新、竞争和生产力的下一个前沿（Big Data：Next Frontier of Innovation，Competition，Productive）》。报告指出，大数据源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来，产生、传送、分享和访问数据的能力也得到彻底变革。2010年，超过40亿人（世界人口的60%）在使用手机，其中约12%拥有智能电话——其渗透率以每年20%以上的速度增长。如今，3000多万联网传感器节点分布在交通、汽车、工业、公用事业和零售部门，其数量正以每年30%以上的速度增长。

大数据趋势将会在5个方面提供价值：

1.数据的高透明度及广泛可获取性：一些制造商正试图集成多种系统的数据，甚至从外部供应商和客户处获取数据来共同制造产品。以汽车这类先进制造行业为例，全球供应商生产着成千上万的部件。集成度更高的平台将使公司及其供应链合作伙伴在设计阶段就开始协作。

2.决策验证对竞争方式的影响：大数据可能使决策制定发生根本性的改变。利用可控实验，公司可验证假设、分析结果以指导投资决策及运作改变。

3.应用于广泛的实时的用户定制及其对企业的影响：面向用户的企业已长期利用数据来细分和定位用户。大数据实现了用户定制的质的飞跃，使得实时个性化成为可能。下一代零售商通过互联网点击流可跟踪个体用户的行为，更新其偏爱，并实时模仿其可能的行为。

4.大数据对管理的改变及替代作用：大数据能进一步提高算法和机器分析的作用。一些制造商利用算法来分析来自生产线的传感数据，创建自动调节过程以减少损失，避免成本高昂（且有时具危险性）的人工干预，最终增加产出。

5.建立基于数据的商业模型：大数据催生了新类型的公司，其能建立由信息驱动的商业模型。许多公司都在价值链中发挥中间作用，通过商业交易创建极具价值的“排出数据”。如一家运输公司收集了大量的全球产品出货信息，并专门建立一个部门负责向经济预测方销售数据。

（二）惯性思维与大数据应用的鸿沟

大数据的价值听起来十分鼓舞人心，而在实际的营销活动中，营销人对大数据的应用情况又如何？Columbia Business School今年推出报告《Marketing ROI in the Era of Big Data》中指出，虽然91%的公司高层营销管理人员认为成功的品牌需要使用客户数据来做营销决策，然而观察他们收集数据的类型，只有35%的公司会收集社交媒体数据、19%会收集移动数据；其中51%的人指出在他们组织内部缺乏分享客户数据的机制，阻碍了他们有效衡量营销ROI，45%的人认为公司没有利用数据有效地将营销沟通个性化。

营销领域真正的进展似乎并不符合大数据热浪的如火如荼之势，正如报告撰写者指出，“我们希望了解到底现在人们在用数据做营销这条路上走了多远，大数据的热潮是否真正地促使营销者实践的改变，但迄今为止，营销领域的大数据实践依然刚刚开始，在许多公司组织中，有效利用数据做营销的实际进展要落后于人们实际的意愿。”

（三）大数据落地

在大数据时代之前，我们通常利用以下2类营销数据：

1.CRM系统中的顾客信息、广告效果、展览等线下活动的效果等。这些数据来源都提供了一些信息，但是并不足够给出一个重要的洞察和发现。

2.信息数据，官方网站登录数据、社交媒体数据、邮件数据、地理位置数据等。这些信息源在几年前可能并不存在，而这些就是“大数据”所指的非结构性或者叫做多元机构性数据，它们更多以文字、图片、视频等方式出现，而且这些数据来源还在不断增加。

如果将这两个数据源进行对接，并且能够保持实时更新，消费者洞察和预测分析这两个营销最重要的领域，将会获得前所未有的价值发掘。什么样的实时优惠对某个用户更有效？基于此用户的偏好，哪种网络页面能产生更好的服务效果？当一个潜在客户填写了网页表格后，跟他敲定一笔交易的可能性有多大？在一天的特定时间段中，哪种促销方式最有效？当一个用户被营销活动覆盖到后，他在六个月内购买的机会有多大？在大数据时代，这些问题都会找到答案。对于营销这一原本就属于数据驱动的领域，大数据提供了一个前所未有的机会。

比如微软正在通过对论坛、社交媒体上内容的监测，来发现人们对微软产品和营销活动的反应，微软Window8发布后，就采用了传统数据收集和实时数据收集的两种手法，“我们对网络反馈信息的收集是连续的和实时的，我们也依然使用传统的消费者满意度调研，最终会将两者产生的数据结合起来进行分析。总的来说，大数据的到来将在以下几方面改变原有的营销流程，或者营销效果：

对原有营销方式价值的再次发掘。IBM的一个商业合作伙伴正在研究让呼叫中心产生的所有对话转换成文字，从而可以实现对这一营销渠道的数据挖掘。“这能够让市场部门获得之前没有的消费者洞察，知道消费者对品牌的感受以及他们怎么回应新产品”，IBM新兴技术项目总监Peter Waggett称更深入挖掘数据会帮助许多公司找到商业问题解决方案。

更好地对营销策略进行优化。麦当劳的部分门店安装了搜集运营数据的装置，用于跟踪客户互动、店内客流和预订模式，研究人员可以对菜单变化、餐厅设计以及培训等是如何对劳动生产力和销售额的影响进行建模；一些领先的零售企业也监控客户的店内走动情况以及与商品的互动。它们将这些数据与交易记录相结合来展开分析，从而在销售哪些商品、如何摆放货品以及何时调整售价上给出意见，此类方法已经帮助某领先零售企业减少了17%的存货，同时在保持市场份额的前提下，增加了高利润率自有品牌商品的比例。

更完整的消费者描述。通过更丰富的消费者数据，包括网站浏览数据、社交数据和地理追踪数据等，可以绘制出更完整的消费者行为描述。比如英国葛兰素史克GSK公司，近期就发起了一个项目，获取更完整的消费者信息，从而获得更加深入的消费者洞察。他们通过定位那些谈论过旗下子品牌的人们，并且追踪他们在公开论坛上所谈到的所有其他东西，来建立消费者描述，而这些外部数据会和营销部门已有的数据进行整合，从而设定更为精准的优惠和促销，吸引人们来到对应的子品牌网站。“这是个不成熟的市场，但是品牌必须要了解怎么利用这些数据”，该公司CRM部门顾问James Parker说道。

更精细的消费者细分。这一功能基于上面一条“更完整消费者描述”的实现。消费者细分不是一个新鲜的概念，但是大数据时代中更多的数据，以及更好的分析工具，使商家能够以多种不同的维度对消费者进行细分，不仅仅是简单的划分群体，而是真正做到个性化。比如在原有的传统市场调研数据和购物历史数据之上，商家可以追踪和利用更多数据如网络上的点击，浏览记录，来更好地细分消费者。

高端零售商Neiman Marcus就建立了行为分类体系和多级会员奖励制度的体系，并将两者结合起来，来激励最富裕、最具长期价值的客户购买更多高利润率的产品；零售商Williams Sonoma也将他们6000万的顾客数据库和其家庭信息链接起来，通过了解这些家庭的收入、房屋价值和孩子数量等对顾客进行精准划分，其电子直邮邮件是根据不同消费者群体的行为方式和选择偏好来设定的，而基于这些信息的直邮邮件所获得的反馈数量是之前没有进行精准化的18倍。

最终完成真正精准化的营销：这一精准性包括精准的时间、地点、人物。理想的一个案例是：当一个顾客进入店铺后，一个零售商搜索他们的数据库，发现这位顾客是其希望留住的有价值顾客，之后他们通过将其过去的购物历史和Facebook主页获得的这位顾客的信息综合起来，来了解需要花多少钱来留住他，从而确定所售卖物品的合适价格和零售商可以退让的利润空间，针对这一位顾客给出最佳的优惠策略和个性化的沟通方式。

,