大数据离线数据处理有哪些步骤（Rambus为数据传输做了哪些工作）

在过去几十年里，PCIe（PCI Express）标准曾风光无限，它凭借高性能、高扩展性、高可靠性和高兼容性，取代了包括AGP和PCI在内的许多内部总线但随着物联网时代的到来，每时每刻都有大量的数据被产生，PCIe在数据中心等应用中开始变得吃力，今天小编就来聊一聊关于大数据离线数据处理有哪些步骤?接下来我们就一起去研究一下吧!

大数据离线数据处理有哪些步骤

在过去几十年里，PCIe（PCI Express）标准曾风光无限，它凭借高性能、高扩展性、高可靠性和高兼容性，取代了包括AGP和PCI在内的许多内部总线。但随着物联网时代的到来，每时每刻都有大量的数据被产生，PCIe在数据中心等应用中开始变得吃力。

自2019年以来，CXL 1.0/PCIe 5.0/CXL 2.0/PCIe 6.0标准依次推出，它们围绕数据传输方面的提升受到大家的关注。近年来，芯片和IP核供应商Rambus一直在为数据传输做努力，并针对CXL/PCIe推出了全新控制器产品，还发布了CXL内存互联计划，彰显了其在数据传输领域的重要地位。

CXL和PCIe的关系

在讨论CXL和PCIe之前，我们要清楚它们之间的关系。观察CXL 1.0、PCIe 5.0、CXL 2.0以及PCIe 6.0的发展轨迹，我们能大致梳理出一条较为清晰的脉络。

2019年3月，在InterconnectDay 2019上，英特尔牵头颁布了CXL（Compute Express Link）开放互连技术和CXL 1.0规范。该技术的底层基于PCIe，无需通过专门设计的接口，简化了服务器硬件的设计难度，消除了CPU与设备、CPU与存储之间的传输瓶颈，满足高性能异构计算和数据中心应用需求。

2019年5 月 29 日，PCI-SIG协会发布了PCIe 5.0标准，带来了更高传输速度，x16带宽（双向）从PCIe 4.0的64 GB/s提升到了128 GB/s。

2020年11月，CXL联盟发布了CXL 2.0，该标准建立在PCIe 5.0的物理标准之上，能满足从主机到设备的数据传输，还具备IO、Cache和Memory三种功能。其中，类似于 PCIe 的CXL.io-CXL使用 PCIe 总线的物理层，CXL.memory 用于主机内存访问，CXL.cache 用于一致的主机缓存访问。

当CXL 2.0利用 PCIe 5.0 的特性时，可让替代协议使用物理PCIe 层。当支持 CXL 的加速器插入 x16 插槽时，设备以默认的 PCI Express 1.0 传输速率（2.5 GT/s） 与主机处理器的端口协商。不过，仅适用于双方都支持 CXL时，CXL的功能才会激活，否则仅作为 PCIe 设备来运行。

2022年1月11日，PCI-SIG发布了PCI Express 6.0(1.0)正式标准。PCIe 6.0与PCIe 5.0相比在参数上具备明显优势：前者带宽速度翻倍，单通道数据传输速率达64 GT/s，单向传输达8GB/秒，PCIe 6.0 x16通道传输速度为128GB/s，双向总吞吐量达256GB/s。

目前，CXL 3.0标准的制定已经在制定中，或将作为PCIe 6.0的提高版本面世。

推动PCIe 6.0早期生态系统建设

PCIe 6.0标准正式发布之后，支持者争先布局基于新标准的产品。在此背景下，2022年1月27日，Rambus率先推出了PCIe 6.0控制器，主要针对高性能计算、数据中心、AI（人工智能）/ML（深度学习）等应用。这是该公司继2021年10月发布CXL 2.0控制器之后的最新产品动态。

具体来看，Rambus PCIe 6.0控制器的主要特性包括：

• 支持PCIe 6.0规范，包括64 GT/s数据传输速率和PAM4调制信号；
• 支持固定大小的FLIT，可实现高带宽效率；
• 实现低时延的前向纠错（FEC），保证链路鲁棒性；
• 向后兼容PCIe 5.0、4.0和3.0/3.1；
• 支持端点、根端口、双模式和交换机端口配置；
• 经过性能优化的集成IDE。

Rambus告诉《国际电子商情》记者，全新控制器针对功耗、面积和延迟进行了优化，并为高性能应用提供了符合PCIe 6.0规范的数据传输速率，最高可达64GT/s。此外，控制器还提供了最先进的安全性，其完整性和数据加密（IDE）引擎可以监控和保护PCIe链路免受物理攻击。

Rambus认为，PCIe 6.0能够达到的速度，将支持企业级市场在千兆链路和其他网络协议方面持续升级，进而支持400/800 GbE，甚至速率高达1.6TbE的以太网络。支持芯片间连接速率增加的PCIe，将使这些网络协议也得以在企业中使用。

在企业内部服务器中，PCIe 6.0标准对高数据传输速率和低延迟的支持，将推动分解式或分布式计算模型的演进，专门用于处理AI云计算和大数据新兴工作负载。

相关产品应用会晚于标准的发布，比如PCIe 5.0的标准于2019年发布，而完全成熟版本的产品的推出要到今年晚些时候，Rambus预计PCIe 6.0也将会有类似的周期。因此，Rambus PCIe 6.0数字控制器，将成为推动PCIe 6.0早期生态系统的建设，被AI加速器供应商、I/O和内存供应商用来构建芯片形式的解决方案，这将有助于建设服务器的Silicon生态系统，并在约2024年成为各种PCIe 6.0器件的基础。

我们注意到，PCIe标准正在加速迭代。此前，PCIe标准的迭代一般需要4-5年时间，而PCIe 4.0升级为PCIe 5.0，再从PCIe 5.0升级为 PCIe 6.0，期间所耗费的时间已经越来越短，这意味着PCIe标准正加速迭代。值得注意的是，PCIe标准加速迭代的趋势，也给整个产业也带来了诸多挑战。

Rambus表示，PCIe 4.0、5.0和6.0版本的加速推出，对旨在提升数据传输速率的更快输入/输出和互连的需求更加迫切。“PCIe在用例所需的可用带宽方面，曾一度走在市场的前面。但由于当时的市场缺少提升传输速度的动力，规范的演变也随之变慢。随着全球数据的指数级增长，在人工智能、机器学习、高性能计算、云计算等新应用驱动下，数据中心服务器和网络设备的PCIe互连速度出现了瓶颈。业界正通过加速创新来应对日益增长的对更高带宽的需求。”

Rambus指出，虽然PCIe标准的开发进程加快，但是PCIe 4.0/5.0/6.0之间未必存在代际竞争，比如市场对跨代PCIe产品Rambus IP仍有持续强劲的需求。“如果一个解决方案把PCIe作为主要接口，则势必要在性能和成本之间进行权衡。对芯片设计者来说，他们将面临两种选择：第一，在特定成本范围内，使用旧版本的PCIe IP，来满足芯片最低数据传输速率和性能要求；第二，采用最新技术设计面向未来的芯片。无论是哪种情况，PCIe自身良好的向后兼容性，都确保了Rambus的PCIe 6.0控制器可兼容PCIe 3.0设备，以满足特定系统的数据传输需求。“

助力CXL成为行业新风口

Rambus除了在PCIe上有布局之外，该公司在CXL上的表现也十分突出。

在2019年CXL 1.0颁布之后，英特尔联合微软、阿里巴巴、思科、戴尔EMC等8家公司成立了CXL联盟。到目前，CXL联盟已经聚集了内存厂商、IP厂商、加速器厂商、CPU 供应商等，而Rambus就是联盟中的一员。

2021年6月，Rambus推出了CXL内存互连计划，并宣布与包括云、系统和内存企业在内的生态体系达成合作，以加快CXL内存互连解决方案的开发和落地。当年10月，Rambus发布了CXL 2.0控制器。从本质上来说，CXL技术在CPU内存空间和连接设备的内存之间保持内存一致性，由此实现资源共享（或池化），以获得更高的性能、减少软件堆栈的复杂性并降低整体系统成本。他们也注意到，技术开发和生态系统建设正快速发展，未来将持续围绕CXL计划进行投入。

Rambus认为，技术发展和生态系统进步之间是相互依存的关系。数据量和数据传输的指数级增长推动了半导体行业架构的突破性转变，从根本上改变了数据中心的性能、效率和成本。服务器架构在过去几十年内变化很少，而现在正迈出革命性的一步，以应对AI/ML应用程序生成的海量数据。同时，数据中心正在从为每个服务器配备专用处理器、内存、网络设备和加速器的模式，向可以智能匹配资源和工作负载的“池化”模式转变。技术的发展推动新的互连、I/O和内存解决方案出现，孕育出新的数据中心生态系统模式。

Rambus表示，CXL联盟及其成员的持续成长，将不断推动整个生态体系的发展。“作为联盟成员，以及面向IP应用的半导体和IP核应用市场的长期贡献者，我们从包括系统和服务提供商、内存和组件供应商在内的生态体系中持续受益。”

自从CXL内存互连计划推出之后，Rambus除了新产品动态之外，在并购方面也有新进展。2021年6月，Rambus宣布完成对AnalogX和PLDA的收购，增强了公司在服务器内存接口芯片方面的领先地位，加速了为下一代数据中心提供创新CXL互连解决方案的路线图。到2022年5月5日，Rambus宣布收购电子设计公司Hardent。据了解，Hardent 拥有 20 年的半导体经验，其世界一流的硅设计、验证、压缩和纠错码 (ECC) 专业知识为 Rambus CXL 内存互连计划提供了关键资源。

2022年，CXL生态进一步完善，众多厂商的积极布局，正推动 CXL成为新的风口。——第四代英特尔至强可扩展处理器Sapphire Rapids，该CPU支持DDR5、PCIe 5.0和CXL 1.1；美光宣布预计今年开始部署CXL1.1，2024年底开始在CXL上真正部署内存；AMD公布代号为Genoa的 EPYC 7004将于2022年第4季度推出，该CPU支持 DDR5 内存以及PCIe Gen5和CXL接口；美满电子宣布将收购 CXL技术开发商Tanzanite，加速实现云基础架构愿景……

最后，在提到CXL的应用领域时，Rambus说，CXL的性质决定其将首先用于需要跨设备实现高带宽、低延迟的应用——预计CXL将最早会在数据中心广泛应用。另外，与所有PCIe相关标准一样，CXL的应用会随着时间的推移，从网络的中心逐渐向边缘扩展。因此，未来CXL也将能作为关键I/O或互连技术，应用于物联网和汽车领域。

责编：Clover.li

,