分布式数据库应用前景(2023年数据中心需要)
- 2022年4月,成都首个边缘计算运算中心——云哟科技鲲鹏生态边缘计算(成都)运算中心投运;
- 2022年8月,张家界思极分公司位于110千伏武陵源变电站内的分布式小型数据中心舱投入商业化运营;
- 2022年11月10日,创新示范“985工程”分布式数据中心商业模式杭州首个试点项目在杭州乾龙电器有限公司配电房正式揭牌……
仅在刚刚过去的一年内,我国边缘侧的数据中心应用落地的项目就如“雨后春笋”般,不断涌现。
另一方面,在“东数西算”背景下,越来越多的大型、超大型数据中心在8大节点、10大集群内“拔地而起”。一张无形的算力网,已开始编织。数据中心逐步向着两极化发展——边缘侧,小型、微型数据中心;集群内,大型、超大型数据中心。
“物理”与“逻辑”的“冲突”
一方面,数据中心建设呈现出“两极化”趋势;另一方面,用户想要一个“逻辑”上完全统一的虚拟资源池以实现更快速、便捷的部署业务,“物理”与“逻辑”的“冲突”已摆在眼前,如何更好地实现数据中心之间的链接,实现数据、算力,在多个数据中心之间灵活、快速的调度、互通?分布式数据中心或许能成为上述问题的“最优解”。
分布式数据中心其实叫分布式云数据中心更为合适,其本质是基于云计算技术,将成千上万台服务器,通过虚拟化技术,形成一台庞大的虚拟主机,实现数据、算力的统一调度,统一管理,避免重复投资,更好的利用硬件、软件、网络资源。
“物理上分散建设,逻辑上统一管理”——这是最简单描述分布式数据中心的语句。在“物理”层面,数据中心可以建设在任何地方,甚至水下、太空;在“逻辑”层面,利用虚拟化技术,让建设在各地的数据中心更好地协同工作,让用户像使用一台家用电脑一般简单的使用数据中心开展业务。
从现阶段数据中心产业的发展不难看出,用户对于算力的需求越来越大,最理想化的状态当然是建设一个足够大的数据中心,来满足用户对庞大算力的需求,不过这种情况仅仅是“理想”。现实中,用户需要在同一地方,甚至不同的地方,建设多个数据中心,来满足其对算力,以及不同数据(温冷数据、热数据)的计算、存储需求。
这时候,分布式架构就成为解决“物理”与“逻辑”之间“冲突”的关键。
分布式数据中心从应用层面可以分为两大类——单数据中心分布式架构、多数据中心分布式架构。
单数据中心分布式架构
该类架构主要由分布式计算、存储、网络等多种分布式技术集成,主要应用于单体数据中心内部,采用分布式、虚拟化等技术,实现服务器的最大化利用,从而提升效能。
多数据中心分布式架构
该类架构主要应用于处于不同地理位置的多个数据中心,实现多个数据中心统一管理。其核心技术依旧是云计算技术,与广域网互联等技术。将多个数据中心组建成一个融合计算、存储、网络等的分布式“虚拟资源池”。该资源池可将多个不同地区的数据中心统一整合、统一管理,甚至互为容灾,具备提升企业效率,降低企业租用数据中心成本,以及降低安全隐患的特点。
无论是单数据中心分布式架构,还是多数据中心分布式架构,在笔者看来,当数据中心步入数字化转型的关键时期之时,分布式架构成为边缘数据中心,以及“东数西算”工程能否“照进现实”的核心所在。
为什么是分布式架构?
为什么说分布式架构是数据中心“两极化”发展过程中不可或缺的支撑呢?因为基于云计算相关技术,采用分布式架构的数据中心能解决传统数据中心“物理”与“逻辑”层面的“冲突”,让地处不同位置的多个数据中心组成一台大“电脑”。除了这个优势外,分布式架构相较于传统数据中心架构,还有三大优势。
一、更稳定
随着企业数字化进程的推进,其业务对于数据中心的依赖也越来越强,一旦数据中心“宕机”,对于企业而言,损失不可估量。如果采用分布式架构,企业可以轻松的将数据同步备份在多个、异地数据中心,一方面避免了电力中断或宕机的风险,保障业务连续性;
另一方面,因地处不同地理位置,也可规避诸如地震、洪水、操作失误等“天灾人祸”对企业业务的影响。例如:2022年10月15日,由于SK C&C板桥数据中心火灾,导致Kakao旗下的聊天软件Kakao talk等多项应用的服务中断,大量韩国用户受到了影响;2022年12 月 18 日,阿里云的香港机房节点发生故障,导致澳门金融管理局、澳门银河、莲花卫视、澳门水泥厂等关键基础设施营运者的网站、澳觅和MFood等外卖平台、以及澳门日报等APP一度无法正常访问使用………如果采用多数据中心分布式架构,能将受到灾害后对用户的影响降到最低。
目前分布式数据中心应用较成熟的当属金融行业。众所周知 ,受到监管及自身对数据安全和业务连续性的要求,多中心分布式架构场景由"同城灾备中心"向"两地三中心双活"架构(即生产数据中心、同城灾备中心、异地灾备中心)演进,随着业务的发展,将来可能演进成"多地多中心分布式多活"架构。
在绝大多数银行已经将数据作为资产看待的当下,通过分布式技术,实现数据资产管理,激发数据潜力,成为提升银行整体竞争力的重要手段。
二、更“便宜”
分布式数据中心能让用户可以在选择服务商的时候,不仅局限有一家,且用户可以更加专注于其自身业务的发展,不用过多的操心底层技术运维、机房管理等细节,一方面帮助用户节省了运维人员的开销,另一方面,按需部署、按需采购,对于关键核心数据,与非关键数据可以分开采购,分开管理,也能让用户的每一分钱都花在“刀刃”上,实现真正的降本增效。
理论上,用户不仅限于采用单个数据中心运营商的服务。例如,可以采用瑞士一个数据中心的虚拟服务器,采用英国一个数据中心的服务器,以及采用俄国的一个数据中心服务器。
不仅于此,在“东数西算”的大背景下,现阶段,西部地区的“算力成本”显然要低于东部地区。一些诸如视频渲染、机器学习、大规模数据存储,等非实时性的数据处理,企业完全可以选择放在西部地区进行处理,通过分布式技术,可以实现更“顺滑”的调度这些数据及算力,也能进一步降低企业租赁服务的成本。
三、更快速
众所周知,互联网时代,对速度的要求极高,有时业务数据流需要以毫秒甚至更小的时间计量单位进行计算。
比如,在股票交易中。即使是毫秒级的延迟也会给竞争对手带来相当大的竞争优势,竞争对手利用这一优势可以更早地买卖股票。出于这个原因,证券交易商选择采用在主要交易所附近的法兰克福和伦敦的数据中心。
再比如,随着自动驾驶技术的逐步普及应用,需要在边缘侧对数据中心进行快速的计算,以保障自动驾驶的车辆能实时的完成对突发情况及复杂路况的处理,保证乘车人及周边人、物的安全。
这种时候,采用分布式技术,让数据中心更贴近用户侧、边缘侧,就能更好的调度数据和算力,在各个“节点”之间的流通及计算,相较于传统的集中式管理,更加快速、高效。
四大挑战,不容忽视
虽然分布式数据中心有着更安全,能帮助企业降本增效等优势,但就现有技术而言,分布式数据中心想要成熟的应用还有四大挑战需要面对。
一、算力调度
算力资源的管理是当下面临的难题。地处不同位置的数据中心,如何在应对业务数据流突发情况时,进行高效的算力资源调度,实现不同地理位置的数据,统一管理,将成为分布式数据中心在算力调度方面需要面临的一大挑战。利用分布式数据共享治理模式,将集中式、分布式数据治理“融合”,实现共存,是当下比较常见且成熟的手段之一。
二、云网融合
实现多个数据中心分布式架构的核心基础就是网络,而做好云网融合也是“东数西算”能否成功的关键。正如前文所说,实现“逻辑上统一管理”,决定了分布式数据中心能否应用落地。
立足国内,推动云网融合实现的主力军,当属三大运营商。目前,以及未来很长一段时间,三大运营商依旧将是我国网络建设的主力军。
三、分布式存储
如何实现数据协同是目前主要面临的挑战之一。随着业务高覆盖,各地数据中心协同的重要性日益提高,但受困于距离与规模等难题,各地数据中心间网络宽带无法保证数据实时同步,这对数据的一致性与完整性、业务的连续性造成一定影响。
2022年中旬,Gartner公布2022年存储和数据保护技术成熟度曲线,软件定义存储基础设施成为本年度唯一的变革性技术,分布式文件系统、对象存储、容器原生存储优先级评级均为“高”。
显而易见,分布式存储将成为存储厂商下一个争夺的市场浪潮。
四、数据安全
安全始终是企业最关注的话题之一。虽然分布式数据中心相较于传统数据中心更加灵活,但如何从物理、虚拟两个层面确保数据资产安全成为一大挑战。
在分布式架构下,数据将在多个数据中心之间流通,分布式数据中心在架构更为复杂以后,安全面临的挑战也越来越多。在流通的过程中,如何搭建防火墙,构建安全协议,确保数据安全,成为分布式架构应用过程中面临的一大挑战。据悉,目前尚未能形成完整统一的安全产品解决方案。
随着近年来数据中心产业的发展,数据中心逐步向着“两极化”发展已是不争的事实,分布式技术无论是在边缘侧的小型数据中心建设应用的过程中,还是在集群内大型、超大型数据中心统筹发展的过程中,都将起到至关重要的作用。
现阶段而言,其技术优势与面临的挑战都显而易见,随着5G、物联网、产业互联网等技术的发展,笔者相信,2023年将成为分布式数据中心技术迎来突破的一年。
,免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com