各种厂商的服务器架构(国产架构服务器行业深度研究)

获取报告请登录未来智库www.vzkoo.com。

一、服务器行业发展简史

1.1 服务器:一种为客户机提供服务的高性能计算机

 服务器是指网络环境中的高性能计算机,包括应用程序服务器、文档服务 器、邮件服务器、Web 服务器及代理服务器等。整个互联网的结构几乎都 基于客户机-服务器模型。客户机-服务器模型的本质是客户机请求、服务器 响应,即服务器的功能是为客户机提供数据服务。服务器由处理器(CPU)、 内存、磁盘、网卡、监视器、电源、机箱等组成,和通用的计算机架构类 似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、 安全性、可扩展性、可管理性等方面的要求比普通的个人电脑高。

 服务器的最大特点就是其强大的运算能力,即使是一部简单的服务器系统, 通常也至少要有两颗处理器以构成对称多处理架构,使其能在短时间内完 成大量工作,并为大量用户提供服务。

 服务器常见的外型有四种:塔式服务器(Tower Server)、机架服务器(Rack Server)、刀片服务器(Blade Server)、 机柜式服务器。其中机柜是指为服 务器正常工作提供相适应的环境和安全防护的安装箱,通过机柜可以保证 服务器设备稳定可靠地工作。

各种厂商的服务器架构(国产架构服务器行业深度研究)(1)

 服务器行业已经发展了近 60 年。服务器的发展最早可以追溯到 1964 年, IBM 引入 System/360。System/360 是由 5 种功能越来越强大的计算机所 组成的系列,这些计算机运行同一操作系统并能够使用相同的 44 个外围设 备。

各种厂商的服务器架构(国产架构服务器行业深度研究)(2)

1.2 CPU:服务器的运算和控制核心

 中央处理器(Central Processing Unit,简称 CPU)是服务器的核心构成之一, 其功能主要是解释计算机指令以及处理服务器中的数据。CPU 的主要运作 原理是执行储存“程序”里的一系列指令。程序以一系列数字的形式存储 在存储器中。

 指令集架构(Instruction Set Architecture),又称指令集或指令集体系,是 计算机体系结构中与程序设计有关的部分,包含了基本数据类型,指令集, 寄存器,寻址模式,存储体系,中断,异常处理以及外部 I/O。指令集架 构包含一系列的 opcode 即操作码(机器语言),以及由特定处理器执行的 基本命令。简单地来说,指令集一般被整合在操作系统内核最底层的硬件 抽象层中,属于计算机中硬件与软件的接口,它向操作系统定义了 CPU的 基本功能。

 CPU 按 指令集的 架 构区 分 , 分为 CISC( Complex Instruction Set Computing ,复杂指令集)型和 RISC ( Reduced Instruction Set Computing,精简指令集)型两类。CISC 的设计者希望通过直接在硬件中 构建复杂的指令从而使编程更方便、程序运行速度更快,其架构中每个指 令可执行若干低端操作,诸如从存储器读取、存储、和计算操作,全部集 于单一指令之中;与之相反,RISC 架构中只包含使用频率高的少量简单指 令,并提供一些必要的指令以支持操作系统和高级语言。

 CISC 阵营以 Intel、AMD 的 X86 架构为代表,而 RISC 阵营则包括 ARM、MIPS、Power PC 等架构;

 从硬件角度来讲,CISC 处理的是不等长指令集,而 RISC 执行的是等 长精简指令集,在并行处理方面 RISC 明显优于 CISC。由于 RISC 执 行的是精简指令集,相比 CISC 在硬件层面需要更少的晶体管,所以 它的硬件制造工艺更简单且成本更低廉。RISC 型 CPU 与 CISC 的 CPU在软件和硬件上都不兼容,这是由指令集的特性而决定的

 从性能角度来说,CISC 与 RISC 并无绝对的孰优孰劣之分。但在发展 过程中,CISC 阵营的 Intel 和 AMD在提升芯片性能上做出了持续的努 力,芯片的功耗被放在了性能后的第二位;而 RISC 本身出现时间较 CISC 晚十年左右(ARM 诞生于 1985 年,X86 诞生于 1978 年), ARM、MIPS 在创始初期缺乏与 Intel 产品对抗的实力,专注于以低功 耗为前提的高性能芯片。RISC阵营的 Power PC 架构最初是为个人计 算机产品而设计,但其出现时已是 1992 年,此时 Intel 旗下的 80386 和 80486 占据了大部分 PC 市场。次年,Intel 赫赫有名的奔腾系列发 布并助力 Intel 占领了绝大部分 PC 市场,这是第五代基于 CISC 的 X86 架构微处理器,Intel 将其命名为“Pentium”。在整个 1990 年代 中期,PowerPC 处理器均达到或超过了最快的 x86 CPU 的基准测试 成绩。但由于 PowerPC 面向 Windows、OS / 2 和 Sun 的客户都存在 应用软件极度缺乏的问题,所以最终并未在 PC 市场溅起水花。但其 后 Apple 因为 PowerPC 处理器的更高性能,在 Macintosh 个人电脑系 列使用了 PowerPC 处理器。2005 年,出于发热量和能源消耗有关的 考虑,Apple 宣布不再在其 Apple Macintosh 计算机中使用 PowerPC 处理器,转而支持 Intel 生产的处理器。此后 PowerPC 开始往超高性 能服务器方向发展。

 CISC 与 RISC 已逐步走向融合,两方处理器互相借鉴互相优化。例如, Intel 公司的 Pentium Pro 种内含三个能够把 x86 指令转换成 118 位定 长的 RISC 风格微操作的译码器。

各种厂商的服务器架构(国产架构服务器行业深度研究)(3)

1.3 X86 一统天下数十年

 X86 泛指一系列英特尔公司用于开发处理器的指令集架构。该系列较早期 的处理器名称是以数字来表示 80X86,包括 Intel 8086、80186、80286、 80386 以及 80486。由于以“86”作为结尾,因此其架构被称为“X86”。

各种厂商的服务器架构(国产架构服务器行业深度研究)(4)

 X86 在计算市场取胜的原因主要有以下四点:

 Intel与 AMD竞争不断,造就高性能 X86。Intel 具有很强的研发实力, 芯片性能一直处于行业领先。在 20 世纪 70 年代至 21 世纪初,厂商最 看重的因素之一即为处理器的性能,而 RISC本身出现时间较 CISC晚 十年左右,ARM、MIPS 在创始初期缺乏与 Intel 产品对抗的实力,改以专注于以低功耗为前提的高性能芯片。同时 Intel X86 也很早开始借 鉴 RISC 架构优势,不断技术革新,比如“Pentium”奔腾处理器就采 用了超标量架构,即有一个处理简单和通用指令的管线。Intel 最新产 品十代酷睿桌面版 Comet Lake-S 系列处理器及 400 系芯片组中,最 低配置的酷睿 i3-10100 四核处理器已经达到 3.6GHz 基础频率, 4.3GHz 睿频,全核 4.1GHz。从单机性能上来讲,Intel 目前依旧处于 强势地位。

 Wintel 联盟建立四十余年,X86 软件生态完善。1981 年,由于个人计 算机市场不受 IBM看重,IBM选取 8088 做个人计算机业务的 CPU, 并将操作系统外包给微软,Wintel 联盟就此开始征程。在 Wintel 建立 之初,微软并没有打算唯一地只支持 Intel,早期,微软操作系统有两 条业务线,一条专用支持 X86 架构,另一条则支持考虑了操作系统的 可移植性,可支持 RISC架构的计算机。但由于 RISC处理器在 PC端 的份额远不及 X86,微软又取消了对部分 RISC 架构的支持。后来, X86 成为了个人电脑的标准平台,也成为了历来市场上最成功的 CPU 架构。

 专注芯片架构研发,不碰设备生态。就 Intel 来讲,不与设备生产商、 软件开发者或者系统开发者成为利益竞争关系是一个十分重要的致胜 因素。IBM 和 SUM大包大揽生产多种服务器设备,但其它设备生产商 可能会基于不支持竞争对手的角度不愿意选择 PowerPC 和 SPARC 架 构,而选择 X86 架构。

 从成本、性能、生态三方面来讲,X86 都是早期数据中心的最优选。 从 成 本 和 性 能 角 度 来 讲 , X86 相 比 大 型 机 与 小 型 机 , 在 RAS(Reliability, Availability, Serviceability)有所欠缺,但具有生态系统 开放、兼容性高、价格便宜的优势。且由于分布式系统成熟,X86 服 务器集群的性能并无较大差距。大型机和小型机价格昂贵、体系封闭, 一般只在部分要求零宕机的领域使用(如银行业、电信业等)。从生态 的角度来讲,由于 X86 在市场上占有率高,相比其它架构而言,X86 有着独一无二的软件和硬件生态优势,故目前全球的数据中心大部分 都是采用 Intel 的 X86 架构服务器芯片,X86 生态系统也愈发强大。

 根据 DRAMeXchange 调查显示,服务器用 CPU 中,X86 架构 CPU 占整体服务器市场约 96%。

各种厂商的服务器架构(国产架构服务器行业深度研究)(5)

各种厂商的服务器架构(国产架构服务器行业深度研究)(6)

二、以 ARM为代表的 CISC 架构服务器有望异军突起

2.1 ARM 公司:全球领先的半导体设计与软件公司

 ARM 架构,从 1983 年开始由艾康电脑公司设计开发,最早为其命名为 Acorn 精简指令集机器(Acorn RISC Machine)。1980 年代晚期,苹果电脑 开始与艾康电脑合作开发新版的 ARM 核心,为了更好地支持这一重要项 目,艾康电脑将设计团队组成了一间名为安谋国际科技(Advanced RISC Machines Ltd.)的新公司,基于此原因人们也常常将 ARM 称作高级精简指 令集机器(Advanced RISC Machine)。但在 2016 年,安谋国际科技被日本 软银集团以 3.3 万亿日元(约合 311 亿美元)收购,此后,ARM 公司退出 股市。

各种厂商的服务器架构(国产架构服务器行业深度研究)(7)

 不同于 Intel 自主完成架构、芯片设计和芯片制造,也不同于无工厂模式 (Fabless)的 AMD、NVIDIA 自己完成架构和芯片设计而将芯片制造工作交给代工厂完成,ARM 公司本身并不靠自有的设计来制造或出售 CPU,而 是通过提供各种授权条款来获得收益。

各种厂商的服务器架构(国产架构服务器行业深度研究)(8)

 ARM公司一般有三种授权方式:指令集授权、内核授权和使用权授权。

 指令集授权是 ARM 公司提供的最大限度的授权,其产品形式为 ARM v 系列(即 ARM架构)。被授权方可以对 ARM公司的指令集进行扩展 或缩减,从而得到其自己的指令集架构。苹果公司就取得了这种授权。 例如,iphone 11/ 11 pro/ 11 pro Max等机型上搭载的 Apple A13 芯片, 其微架构就是基于 ARMv8.3-A 指令集架构自主研发。此外,华为、长 城、高通、三星等公司也取得了 ARM的指令集授权。

 内核授权的产品主要是指 ARM 公司提供的一系列微架构,目前主要 是 ARM cortex 系列。被授权方可以在内核基础上对缓存、I/O 等设计 进行修改。这是 ARM 公司提供的最广泛的授权方式。ARM 是广为人 知最昂贵的 CPU内核之一。取得这种授权的公司包括高通、三星、华 为、德州仪器(TI)、博通、飞思卡尔、富士通以及 Calxeda 等等。

 使用权授权的产品则是指 ARM 已经设计好的 CPU/GPU。被授权人可 以使用 ARM 设计好的 CPU/GPU。在这一种授权中,被授权人可自由 发挥的空间非常小。

各种厂商的服务器架构(国产架构服务器行业深度研究)(9)

2.2 ARM 架构已被广泛应用到各个领域

 ARM公司的商业发展极其迅速,主要有以下几点原因:

 发展早期避开 Intel 锋芒,专注低功耗领域。ARM 公司发展之初也在 个人计算机领域做出了努力,但后来发现其产品与 Intel 的新品无法竞争之后,迅速转换路径投入了以低功耗为前提的高性能芯片的研发。 早期清晰的发展路线也为 ARM 之后抓住智能手机爆发机遇做好了铺垫。

 授权策略正确,内核授权价格低,厂商间竞争激烈。1991 年 ARM 公 司就开始了授权模式。MIPS 的定价策略是内核授权很贵,而架构授权 很便宜,且对指令集扩展不受限制;而 ARM 的定价策略是架构授权非 常昂贵而内核授权很便宜,且厂商需要修改设计需要继续付大量的费 用。从实践结果来看,ARM的授权策略优于 MIPS。MIPS便宜的架构 授权吸引了一批有能力通过指令集开发 CPU的厂商,但由于允许厂商 自行修改指令集,导致生态碎片化且互相不兼容,也极大影响了开发 者和使用者的热情;而 ARM 的授权模式对无能力通过指令集开发 CPU 的厂商十分友好,这些厂商能通过购买内核授权来快速推出 CPU 产品,甚至有研发能力的公司也愿意使用现成的 ARM 内核来集成 CPU,从而大幅度降低产品开发成本和缩短开发周期。ARM 的商业模 式也使得进入厂商多,激烈的竞争使得 ARM 产品价格不断下降,生态 日趋完善。

 完善的生态体系。ARM 完善的硬软件生态使得设备厂商、开发者和使 用者都充满信心。

 ARM 架构的应用领域已十分广泛。据 2011 年 ARM 的客户报告统计,79 亿 ARM 处理器出货量,占有 95%的智能手机、90%的硬盘驱动器、40% 的数字电视和机上盒、15%的微控制器、和 20%的移动电脑。十年来, ARM 市场格局变化不大。截止到 2017 年,已经生产的 ARM 架构的处理 器超过 1000 亿个,是应用最广泛的指令集架构,也是产量最大的指令集 架构。

 由于 ARM 在成本、功耗和散热上的优势,它对于便携式电池供电的设备 (包括智能手机、便携式计算机和平板电脑以及其他嵌入式系统)来说十 分理想。同时对于消耗大量电力的超级计算机与云计算数据中心,ARM 也 是一种节能的优秀解决方案。目前,ARM 处理器可以在很多消费性电子产 品上看到,从便携式设备(PDA、移动电话、多媒体播放器、掌上型电子 游戏和计算机)到电脑外设(硬盘、桌面型路由器),甚至在导弹的弹载计 算机等军用设施中都有它的存在。在此之外,还有一些基于 ARM 设计的 衍生产品,包括 Marvell 的 XScale 架构和德州仪器的 OMAP系列。

各种厂商的服务器架构(国产架构服务器行业深度研究)(10)

 2016 年,日本富士通宣布了研发接替“京”的“Post-K”超级计算机。 “Post-K”超级计算机采用富士通与 ARM 公司共同开发的 ARM 处理器 A64FX。富士通称,他们目标是“创造出世界上最高性能的超级计算机”, “其应用执行性能是京超级计算机的 100 倍”。如果此应用执行速度实现, 那么 Post-K 超算将进入百亿亿次级别(exascale), 1 exaflops 表示每秒 10^18 次浮点运算。

各种厂商的服务器架构(国产架构服务器行业深度研究)(11)

2.3 ARM 在服务器领域的尝试

 从 2008 年开始,ARM 公司开始酝酿进军 ARM 服务器芯片市场的计划。 此后,AMD、三星、AWS、高通、Calxeda 以及 Marvell 等多个公司相继 开发了 ARM 架构服务器芯片。但除 AWS 以外,其余公司的 ARM服务器 芯片均未在市场上有持续表现。

 AWS 推出基于 ARM 架构的云计算服务。AWS在 2018 年正式对外发布了 基于 ARM 架构的云服务器芯片 Graviton 及基于该芯片提供的 EC2 A1 虚 拟服务器和云服务,并表示此芯片对部分工作负载能耗可降低 45%。在 2019 年 12 月的 AWS re:Invent 会议上,亚马逊公布了新一代的 ARM 服务 器芯片 Graviton2。据介绍,AWS Graviton 2 处理器的速度比较前一代芯 片提升了 7 倍,浮点性能提升了 2 倍,性能表现强悍。

 AMD、三星、高通、Calxeda 以及 Marvell 等公司在 ARM服务器芯片上的 尝试均未获得成功。

各种厂商的服务器架构(国产架构服务器行业深度研究)(12)

 从 AWS和 Marvell 的实践观察,在云计算领域 ARM 架构芯片低功耗低成 本的优势不可小觑。但 AMD、三星、高通、Calxeda 以及 Marvell 五个公 司在 ARM 服务器芯片领域均未获得成功,我们认为主要有以下两方面原 因:

 ARM 在服务器领域的生态并不成熟,Wintel 联盟牢牢垄断计算产业生 态,各类厂商更倾向于 X86 架构,故 ARM 服务器在市场推广方面存 在较大阻力。

 ARM 服务器芯片是一个需要持续投入的产业。如高通、三星可能出于 对当时情况的判断,认为 ARM 服务器暂时不具备良好的市场前景,故 放弃了此业务。

 X86 服务器相较于 ARM 服务器而言,具有性能强的优势,但同时也具有 功耗大、成本高的劣势。因此,ARM 已经明确了其针对数据中心的 Neoverse 架构迭代升级策略,每一代性能提升都在 30%以上,远超 X86 CPU 每一代性能提升的幅度,ARM 与 X86 之间性能上的差距将不断缩小。

各种厂商的服务器架构(国产架构服务器行业深度研究)(13)

 近几年,ARM 性能提升的同时,其生态也得到了较大的扩展:

 2018 年 11 月开始,Windows 已经开始支持 64 位 ARM 应用开发和 提交,这将十分有利于 ARM生态的构建。

 2019 年 6 月在德国法兰克福国际超算大会上,NVIDIA 宣布支持 Arm CPU,以构建具有极高能效水平的百万兆级 AI 超级计算机。NVIDIA 创始人兼首席执行官黄仁勋表示:“NVIDIA CUDA 加速的计算和 Arm 的高能效 CPU 架构的相结合,将助力 HPC 社区实现大幅提升,以达 到百万兆级。”

2.4 我们的判断:国产 ARM 架构服务器有望成功

1)国产替代产业化趋势显现:政策驱动国产 ARM 服务器发展

 在中美贸易摩擦的背景下,美国对华为、中兴等中国企业进行了限制。以华 为为例,美国从 2018 年年初开始限制华为产品的销售,2019 年 5 月美国商 务部将华为加入实体清单后,谷歌、英特尔、高通、赛灵斯、AMD 等厂商 纷纷响应政府宣布将停止与华为合作。而在华为全球领先的 5G 技术上,受 美国影响,全球多个国家宣布将停止或有限地在 5G 建设上与华为合作。

 美国商务部的封杀导致华为、中兴两家公司损失巨大,也直接反映了我国 在 IT 核心技术上严重依赖于国外的现状。在关键技术领域推进信息创新刻 不容缓,国家面向计算产业信息创新也推出了一系列支持政策。

 当前计算产业信息创新已经从政府等特殊领域向金融、能源等行业拓展, 国产架构服务器预计也会进入到行业端应用。

各种厂商的服务器架构(国产架构服务器行业深度研究)(14)

2)计算产业多样化为 ARM 架构带来机会

 ARM 低功耗低成本优势有机会使其在云计算市场分得一杯羹。根据前瞻研 究院数据,2018 年,全球公有云市场规模已达到 1312 亿美元,增速为 25.31%,预计未来几年市场平均增长率在 20%左右,到 2022 年市场规模 将超过 2600 亿美元。据智研咨询数据,2018 年中国公有云市场规模约 437 亿人民币,增速达到 65%。据估计,2018 年中国整个云计算市场规模 约 1000 亿人民币。云计算市场整体发展潜力巨大。云计算市场分为 IaaS、 PaaS 和 SaaS 层,其中 IaaS 在全球公有云市场占约 30%,在中国公有云 市场中占比超过 50%。服务器处于云计算产业链的上游,是 IaaS 层的重 要组成,是云计算市场的基础。

各种厂商的服务器架构(国产架构服务器行业深度研究)(15)

各种厂商的服务器架构(国产架构服务器行业深度研究)(16)

 数字化进程的飞速发展和近十年互联网产业的发展均清晰地验证了一个事 实, 不同的产业阶段对 IT 基础架构和计算能力提出不同的挑战和要求。新 应用、新技术、新架构才是未来数字化转型的关键,计算平台创新是数字 化转型的基础。

 基于 IDC 提出的第三平台概念,当前已经发展到以智能、云计算、大数据、 移动和社交网络为核心特征的倍增创新阶段,正快速迈向智能创新阶段。 IDC 预测在智能创新阶段,数字化普及率上升到新的高度,应用规模将从 百万级上升到千万级,连接数上升到百亿级,人工智能将成为基础能力。

 应用创新速度加快,应用种类和数量繁多,端边云协同成为主流。a) 随着自动驾驶、云游戏、VR/AR 等应用的兴起,以及物联网、移动应 用、短视频、个人娱乐、人工智能的爆炸式增长,应用越来越场景化 和多样化,驱动计算架构向多样性发展。b) 边缘计算兴起,未来超过 70%的数据和应用将在边缘产生和处理。边缘和移动端设备需要与云 协,且随着 5G的规模部署,网络传输时延、带宽、连接密度均得到数 量级的提升,给端-边-云协同提供了基础保障。三者的计算架构、开发 模式存在较大差异,需要新的计算架构创新提升效率。c) 企业为寻求 更加敏捷、灵活和高效的应用开发模式,以加速应用的创新和快速上 市,如容器、微服务和 DevOps。这些应用开发模式拉近了业务和计 算平台之间的联系,应用开发团队将定义基础设施的性能、可用性和 规模,直接推动计算平台架构的变革和创新。

 百亿联接,带来数据爆炸式增长,智能和实时处理成为普遍诉求。a) 5G 的商用将驱动行业物联网的应用与落地,工业机器人、工业互联网、 智能电表、水表、路灯、车联网等快速普及。b)智能驾驶、智能安防、 智能制造、智慧城市等全面兴起。c) IDC 预测,2023 年全球物联网市 场空间 1.12 万亿美元。新计算平台必须具备海量数据处理分析能力, 各种应用场景下人工智能训练和推理能力,以及边缘计算、物联网大 规模联接场景下的安全和实时处理等能力。

 面对新兴应用对计算平台提出的端-边-云协同、海量多样化数据智能处理、 实时分析等需求,IT 基础设施应在计算体系架构、业务部署架构等诸多方 面进行创新来适配该需求。

 支持多种计算平台的计算架构创新。场景的多样性,带来数据的多样 性,没有一种计算架构可以高效满足所有业务诉求。以 Arm 为代表的 RISC 通用架构处理器、以及具备特定定制化加速功能的 ASIC 和 FPGA 芯片等在场景多样化计算时代具备明显的优势。例如在分布式 数据库、大数据、Web 前端等高并发应用场景,单芯片核数更多的 Arm 架构处理器相比传统处理器拥有更好的并发处理效率。而随着 TPU、NPU 等人工智能处理芯片在智能摄像头、无人驾驶等领域的广 泛部署,使得通用处理器加上深度学习加速芯片成为典型的边缘计算 架构。

 面向移动应用的云化部署架构创新。移动终端正在快速取代传统 PC 在终端市场中的地位,IDC 数据显示,智能手机和平板电脑等移动终 端在全球终端出货量所占的比例已经由 2010 年的 44.7%上升到了 2018 年的 77.6%,预计到 2023 年将超过 80%。绝大多数移动终端采 用 Arm 架构的处理器,移动应用主要基于 Arm 指令集进行开发、测试 和运行。云游戏、移动办公、云手机、终端仿真测试等应用模式的兴 起,也预示着移动应用将逐步向云上迁移。为了降低应用开发者在异 构环境下进行二次开发所造成的性能损失和潜在漏洞风险,以及随着 这些海量移动应用向云上迁移,端云协同成为主流,移动端的计算平 台架构和云端计算架构相互影响渗透,并将逐步走向趋同。

3)华为入局:鲲鹏芯片问世,云手机业务带来新应用场景

 华为入局,国产 Arm 架构服务器前景可期。华为过去十年耗资 200 亿元进 行基于 ARM架构的鲲鹏芯片及芯片组开发。华为和 ARM的合作已持续多 年,2013 年华为发布了最初款 Hi1610 芯片,2014 年的 Hi1612 是 ARM64 位 CPU,2016 年的 Hi1616 是首颗支持多路的 ARM 处理器,2019 年又迎 来 Hi1620,鲲鹏 920 则是 Hi1620 系列的正式品牌和型号。在今年 1 月 7 日 的发布会上,华为表示鲲鹏 920 是“业界性能最高”的 ARM 架构服务器 芯片,鲲鹏 920 主频可达 2.6GHz,单芯片可支持 64 核。该芯片集成 8 通 道 DDR4,内存带宽超出业界主流 46%。

各种厂商的服务器架构(国产架构服务器行业深度研究)(17)

 3 月 5 日,多家媒体报道华为发布其 2020 年旗舰鲲鹏云手机。华为鲲鹏云 手机,是基于华为云鲲鹏裸金属服务器,虚拟出带有原生安卓操作系统, 具有虚拟手机功能的云服务器。同时,作为一种新型应用,云手机对物理 手机起到了延伸和拓展作用,可以用在如应用智能托管、云手游、众播互 娱、移动办公等场景。官方称,华为鲲鹏云手机采用自研鲲鹏芯片,具有 六重优势。a)端云同构,运行性能大幅提升 80%,同时还搭载了专业级 GPU 加速,使用者可以无压力运行大型游戏;b)兼容 32/64 位的 app, 能够运行主流应用以及游戏,操作流畅;c)依靠华为云的集群化部署和运 营能力,无缝对接公有云服务,满足海量业务需求;d)可根据需求灵活配 置不同规格云手机,使云上管理更便捷;e)独家 Monbox软件技术架构, 可以使鲲鹏云手机达到密度提升一倍、低时延、少带宽的效果;f)业务数 据存储于云端,提供企业级云上安全防护,专业级防护防止数据的丢失和 泄露。

 鲲鹏云手机是鲲鹏生态的重要落地场景。根据公开消息,华为在 18 年 11 月就推出了业界首个基于 ARM 框架的云手机解决方案。众所周知,在移 动端 ARM 架构芯片占据主导,Android 操作系统基于 ARM 架构适配, ARM Android 生态成熟。因此,基于 ARM 底层框架搭建的云手机系统, 使得从云到端都运行着同一套指令集,Android 应用运行无需 X86 模拟器 (如果使用 X86 底层架构搭建云手机系统,移动端 Android 应用与云端 X86 底层不适配,需要通过 X86 模拟器进行指令集翻译)指令集翻译,云 端无缝连接免去了多重指令翻译和转换的环节,运行性能可以较 X86 模拟 器架构方案提升数倍。19 年 7 月,华为云发布鲲鹏凌云伙伴计划,全力打 造鲲鹏计算生态,在计算领域,华为鲲鹏与强大的竞争对手英特尔 X86 架 构相比,最为缺乏的就是生态体系,鲲鹏架构缺乏可以落地的场景。随着 5G 到来,云手机有望普及,鲲鹏云手机将成为鲲鹏生态落地的重要场景, 且在该场景下,基于 ARM 架构的鲲鹏生态相较于 X86 生态具有明显优势, 前景可期。

三、国产架构服务器竞争格局

3.1 国产架构服务器群雄逐鹿

 本文中国产服务器指使用国产 CPU 架构的服务器。国产主流 CPU 主要指 “兼容国际主流、自主指令系统”CPU 和“完全自主可控的指令集”CPU 两种。

 “完全自主可控的指令集”CPU 在指令集上不同外界兼容。从国家发 展的角度看,指令集完全自主可控是最安全的。但其劣势是由于缺乏 OS 支持、开发工具链(编译器、调试器等)匮乏、应用程序的开发和 移植难度和工作量大。申威、龙芯、华为鲲鹏、飞腾均属于此列。申 威为指令集完全自主开发,而龙芯、华为鲲鹏、飞腾获得了 MIPS 和 ARM架构授权。

 “兼容国际主流、自主指令系统”CPU 通过获得成熟的架构授权自己 按需定义处理器规格,并按自己日程进行开发、交付和使用,一次架 构授权费涵盖全部的应用定义,并且生态环境相对而言比较健全。但 其劣势是长期技术演进路线受架构的制约。海光、宏芯、兆芯属于此 列。

 2018-2019 年国家采购名单中,入围了七家国产架构服务器供货厂商,他 们采用的架构分别是:鲲鹏(ARM)、飞腾(ARM)、龙芯(MIPS)、海光 (X86)、兆芯(X86)、宏芯(POWER)、申威。从性能、生态兼容性、 应用迁移成本和市场能力四个方面来看,华为鲲鹏、飞腾、海光整体表现 居于前列。

3.2 国产架构服务器市场判断

 目前,国产服务器芯片主要由鲲鹏、飞腾、海光、龙芯、兆芯、宏芯、申 威主导。其中政府等领域国产芯片主要来自飞腾、龙芯、兆芯、申威几家 厂商。随着华为推出鲲鹏系列芯片,预计行业端市场将由华为主导。各厂 商具体情况如下:

 海思半导体(英语:Hisilicon),芯片设计公司,属于华为集团,于 2004 年 4 月创建,总部位于中国大陆广东省深圳,现为中国大陆最大 的无晶圆厂芯片设计公司。主要产品为无线通信芯片,包括拥有 WCDMA、LTE 等功能的手机系统单片机。海思半导体的前身为创建 于 1991 年的华为集成电路设计中心。

 飞腾信息技术有限公司,主要致力于高性能、低功耗集成电路芯片的 设计、生产、销售与服务,为用户提供安全可靠、高性能、低功耗的 CPU、ASIC、SoC等芯片产品、IP 产品以及基于这些产品的系统级解 决方案。基于飞腾产品的整机系统已经在政府办公设备、企业服务器、 电信交换机、互联网存储、云计算平台等多个领域推广应用。最初, “飞腾”芯片是由国防科大为“天河”系列计算机量身定制的 CPU。

 海光信息技术有限公司,2016 年与 AMD 签订了技术许可协议。AMD 将旗下的 X86 和 SoC IP 技术授权为中国公司用于芯片开发,并获得 了价值 2.93 亿美元的现金(外加特许权使用费) ,海光进行了后续的芯片设计。海光的 X86 架构天然适配市场上的主流 X86 生态,这是海 光最大的优势。

 龙芯中科技术有限公司是 2010 年 4 月由中国科学院和北京市政府共同 牵头出资成立的有限责任公司,是现在龙芯系列芯片的主要开发、销 售、服务、宣传的公司,总部位于北京市海淀区。龙芯中科是现在最 大的兼容 MIPS 架构芯片的供应商,也已经是多数开源社区 MIPS 架 构分支的实际维护者。龙芯中科的主要产品有龙芯系列芯片、LS 系列 IP 核(微架构)和 LoongISA。

 上海兆芯集成电路有限公司是成立于 2013 年的中国国资控股公司,由 上海市国资委下属单位持有兆芯 80%的股份,剩余股份则主要由威盛 电子(VIA)持有。公司总部位于上海张江,在北京、西安、武汉、深圳 等地均设有研发中心和分支机构。兆芯的 X86 授权来自于威盛。根据 资料,兆芯初期的 CPU 和 GPU 均由威盛产品改良而来(基于 VIA Nano 架构和 S3 Graphics )。 公 司 曾 用 英 文 名 VIA Alliance Semiconductor Co Ltd.也展示了兆芯和威盛的关系。

 苏州中晟宏芯信息科技有限公司于 2013 年成立。公司经营范围包括计 算机软件研发、计算机系统集成;集成电路等。员工主要来自中科院 计算所和 IBM,2014 年在工信部和苏州政府的扶持下加入 IBM发起的 OpenPOWER 基金会,并在 2015 年 6 月发布了第一款 IBM 授权 POWER架构的服务器芯片产品 CP1。

 申威是江南计算技术研究所开发的微处理器系列。中国人民解放军战 略支援部队网络系统部第五十六研究所,对外又称江南计算技术研究 所,位于江苏省无锡市,是隶属中国人民解放军战略支援部队网络系 统部的计算机研究机构。

 从厂商背景和目前市场份额情况看,在政府等领域,龙芯、飞腾、兆芯、 申威等架构占据主流,华为鲲鹏亦有机会进入该细分市场竞争;而在行业 端商用市场,考虑到性能、价格、生态等各方面因素,我们判断华为鲲鹏 未来最有可能跟英特尔 X86 架构形成竞争,海光凭借其出色的单核性能和 X86 生态优势也有机会获得部分市场份额。

四、主要国产架构服务器生态

4.1 鲲鹏生态 1)华为全力打造鲲鹏生态

 2019 华 9 月华为全联接大会期间,华为轮值董事长胡厚崑宣布华为正式启 动计算战略。华为目前已经投入超过 2 万名工程师,形成了以“鲲鹏 昇腾” 为核心的基础芯片族。基于计算战略与芯片根基,华为将以“一云两翼双 引擎”进行产业布局,构筑开放的产业生态。

 一云指华为云。华为云将通过全栈创新,为生态伙伴提供安全可靠的 混合云,为世界提供普惠算力;

 两翼指智能计算业务以及智能数据与存储业务。在智能计算领域,面 向端、边、云,提供“鲲鹏 昇腾 x86 GPU”的多样性算力。在智能 数据与存储领域,融合了存储、大数据、数据库、AI,围绕数据的全 生命周期,让数据的每比特成本最优、价值最大;

 双引擎指围绕“鲲鹏”与“昇腾”打造的两个基础芯片族,可构筑异 构的计算架构。

各种厂商的服务器架构(国产架构服务器行业深度研究)(18)

 目前,华为已经与超过150 家(MSP 云服务、服务器 PC 整机制造、中间 件、操作系统、上层各类应用软件等产业)合作厂商携手推动鲲鹏计算产 业的快速发展,在众多行业展开应用,积极适配鲲鹏平台,打造完整的产 业生态链,迅速构建起华为鲲鹏生态。

 IT 产品线中,华为只聚焦芯片、开源操作系统、存储、数据库、云等底层 产品,其余上层生态和服务开放给鲲鹏凌云合作伙伴,实现生态链互利共 赢。

 2020 年 1 月,华为将“Cloud&AI 产品与服务 BU”提升为“Cloud&AI BG”。 华为从原有“三大 BG 两大 BU”五个一级部门转化为“四大BG 一 大 BU”五个一级部门,分别为运营商 BG、企业 BG、消费者 BG、 Cloud&AI 产品与服务 BG 和智能汽车解决方案 BU。此次组织架构的调整 反映了华为对鲲鹏云生态战略的重视。

2)服务器是华为鲲鹏生态的基础

 服务器是鲲鹏生态中最先落地的基础环节。服务器是 IT 生态的基础环节, 向上对接中间件、应用层,向下对接芯片、操作系统、存储、数据库等; 无论是云架构还是传统架构,都需要搭建在服务器底层之上。因此,建立 新的计算生态,抢占服务器底层市场是基础。

 TaiShan 服务器的根本目的是立标杆,使能产业链,构筑完整的鲲鹏生态, 扩大产业空间。条件成熟时,华为将逐步停止 TaiShan 服务器销售业务, 转向以主板、部件等方式全面支持和服务更多整机厂商,实现共同发展。

 当前 X86 架构下的整机业务整体利润率较低,我们认为主要原因有两点: 其一,X86 架构下整机的各类核心零部件均来自国外。英特尔等公司较为 强势,整机厂商缺乏话语权,利润空间被压缩;其二,X86 整机业务较为 成熟,竞争较为激烈,同时品牌整机亦面临白牌机的竞争,部分厂家采取 低价等措施争取市场份额,使得整体行业利润率偏低。相较于 X86 生态, 我们判断鲲鹏生态中的服务器业务利润率将有明显提升,主要原因有两点: 其一,鲲鹏服务器为国产服务器,核心零部件均由国内厂家提供,尤其是 占服务器成本最大部分的芯片由华为提供,华为有能力控制成本;其二, 华为此前曾多次表态,将打造鲲鹏计算产业生态,华为将在未来几年投入 30 亿支持合作伙伴发展,从国际科技巨头的成长路径来看,发展生态,依 托合作伙伴是其迅速壮大的重要途径,而华为此次打造全新鲲鹏计算体系, 必然深知合作伙伴的重要性,华为有动力让利合作伙伴,带领合作伙伴共 同成长。

 鲲鹏计算产业在整机领域的发展目标是形成多厂家的格局,支持有意愿有 能力的厂家发展基于 Kunpeng 处理器主板的自有品牌整机。华为提供的支 持主要包括以下三个方面。

 公开主板、系统参考设计指南。为帮助厂商快速开发基于鲲鹏处理器 的服务器和 PC 等计算产品,降低系统设计和开发难度。华为作为鲲 鹏计算产业的一员,将把在计算领域多年积累的硬件工程能力通过主 板、系统参考设计指南等方式开放出来;

 发布主板接口规范,向厂商逐步开放主板。为确保整机的兼容性,华 为发布相应的主板接口规范和设备管理规范。从 2019 年 Q4 开始,逐 步开放基于标准规范的服务器主板和 PC 主板,厂商基于主板开发自 有品牌的整机产品,产品上市周期可大幅缩短;

 联合整机厂商、BIOS 厂商、部件厂商、OS 厂家共建开放的 IO 总线 和管理接口标准。基于此,使能 IBV(独立的 BIOS 供应商)发展 BIOS 生态,使整机厂商具备总线上的定制能力,从而发展各品牌的差 异化整机能力。同时基于开放的 IO 总线和管理接口,各相关企业可以 开发各种部件(SSD 卡、网卡、RAID 卡、显卡)、内存、硬盘等,从 而丰富和完善整机上下游产业链;

 兼容性保证。为保证 OS、部件与整机的兼容性,将基于华为的硬件兼 容性实验室,对操作系统、内存、硬盘、网卡等进行统一的兼容性认 证测试,并定期发布兼容性清单。

 综上所述,华为全力确保提供给整机厂商的不仅仅是主板硬件与技术,而 是通过基于鲲鹏处理器的主板构建完整的生态并分享市场机会,使能整机 厂商获得商业成功。未来基于“鲲鹏”的国产服务器市场份额有望不断增 大,前景可期。

3)华为携手合作伙伴实现共赢

 华为徐直军表示:“面向多样性计算时代,华为将携手产业合作伙伴一起构 建鲲鹏计算产业生态,共同为各行各业提供基于鲲鹏处理器的领先 IT 基础 设施及行业应用。华为将聚焦于鲲鹏和昇腾处理器、鲲鹏云服务和 AI 云服 务等领域的技术创新,开放能力,使能伙伴,共同做大计算产业。”

 华为鲲鹏生态区域合作不断加速,与全国多个省市政府企业合作。2019 年, 华为在天津市、北京市、重庆市、山西省、海南省、江苏省、浙江省等近 20 个省市召开以“鲲鹏展翅、力算未来,共赢多样性计算时代”为主题的 鲲鹏计算产业峰会。截止到 2020 年 1 月,华为已经与 12 个省达成合作建 立鲲鹏生态联盟,并在包括北京、上海、深圳等 14 市成立鲲鹏生态创新中 心。

 华为与各类厂商的频繁展开合作,扶持合作伙伴,互补互惠,让利合作伙 伴,寻求共同成长。

 鲲鹏云凌云合作伙伴众多,覆盖了基础软硬件、整机、行业应用等赛道的 众多公司。在服务器整机领域,近期众多厂商公布与华为鲲鹏合作,推出 基于鲲鹏主板的自主品牌服务器/PC 产品,我们判断,国产整机业务当前壁垒在渠道端,谁拥有更强的渠道能力和资源,谁就更有可能成长为鲲鹏 体系的龙头整机厂商。

4.2 飞腾生态及龙芯生态

1)飞腾生态

 2019 年 8 月上旬,飞腾发布《从端到云—基于飞腾平台的全栈解决方案白 皮书暨飞腾生态图谱》,飞腾希望能从系统建设对芯片的需求角度去思考什 么样的芯片和生态才能满足用户对于终端的更高需求,什么样的芯片和生 态才能满足云计算和大数据时代的要求。飞腾也希望站在全系统集成角度, 为集成商和最终用户梳理飞腾生态图谱并提供一套从端到云的全栈解决方 案,给出集成模式和建议,提供已被验证的、有说服力的实际案例,去分 析目前技术架构的收敛趋势,协助各行业信息化建设逐步向更先进的部署 模式转变。

 在基础设施服务方面,国内主流的云平台包括阿里云、腾讯云、紫光云、 中兴云、浪潮云、 金山云、Ucloud 等云厂商均已与飞腾平台进行适配。

 国内 20 多家主流的 OEM、ODM 厂商已推出基于 FT-1500A/16 和 FT2000 /64 芯片的服务器整机,其中基于飞腾新一代 FT-2000 /64 芯片的服 务器产品群已于 2019 年 5 月在福州数字中国峰会上发布。

 飞腾目前已经在云计算领域建立起了完备的生态。

2)龙芯生态

 2019 年 12 月 24 日,以“新时代、芯生态”为主题的 2019 龙芯新产品发 布暨用户大会上,龙芯中科董事长胡伟武指出,我国信息产业的根本出路 在于建立独立于 Wintel 和 ARM Android 体系外的第三套生态体系。为此, 龙芯提供开源的基础版操作系统支持下游的操作系统企业、整机设备企业、 解决方案企业推出产品版操作系统。龙芯通过基础版操作系统统一系统架 构,实现操作系统跨主板兼容和 CPU代际兼容,实现应用在不同整机平台 的兼容。本次发布会龙芯中科发布了统一系统架构的标准规范体系,并通 过与 OEM/ODM 厂 商 签 署 认 证 协 议 建 立 产 品 认 证 体 系 。 从 龙 芯 3A4000/3B4000 起,龙芯 CPU 和主板升级均不影响操作系统及应用的兼 容性。

 据龙芯中科副总裁张戈透露,龙芯的合作伙伴已经增至近千家,下游基于 龙芯的开发人员达到数万人,在政企、安全、金融、能源、交通、教育等 各个应用场景中都有了应用。

五、国产架构服务器 A 股重点标的

5.1 神州数码:华为长期战略伙伴,鲲鹏生态核心整机厂商

 神州数码是国内 IT 分销龙头。公司目前主要有三块业务:第一块是公司深 耕多年的 IT 分销和服务的传统业务,第二块是公司从 16 年开始发力的 MSP 云服务业务,第三块是基于鲲鹏主板的自主品牌服务器/PC 整机业务。

 神州数码与华为合作已久,是华为的全面战略合作伙伴。双方在 2016 年 便签署战略合作协议,共同宣布在行业云等领域展开全方位的战略合作, 未来继续加强合作的基础十分深厚。2018 年 3 月,神州数码正式启动“大 华为”战略,将分散在不同业务板块的华为业务进行整合,成立华为业务 群,形成统一的前中后台,实现内部协同。2019 年 11 月率先宣布拟投资 基于“鲲鹏”的国产服务器、PC 产线,与华为合作再上一个台阶。

 2019 年 11 月,神州数码成为第一家宣布拟投资基于“鲲鹏”的国产服务 器、PC 产线的公司,深度参与鲲鹏生态建设。2019 年 11 月,神州数码和 厦门政府签署建立鲲鹏系列产品生产基地,这也是是华为首个鲲鹏生态基 地及超算中心。基于华为“鲲鹏”生态,未来 2-5 年的时间,神州数码集 团将在厦门建设创新可信的服务器和 PC 生产基地。

5.2 东华软件:与华为共同发布鲲鹏服务器“鹏霄”

 东华软件是国内系统集成龙头厂商,公司在金融、医疗等行业具备较大优 势,此前,东华软件已成为华为鲲鹏战略级 ISV合作伙伴。

 2020 年 1 月 9 日,宁波鲲鹏生态产业园开园暨“鹏霄”服务器首发首用仪 式在宁波举行。华为公司与东华软件联合宣布,首批基于鲲鹏处理器的服 务器——“鹏霄”已完成与操作系统、数据库、中间件,以及扫描仪、打 印机等软硬件设备的兼容适配,并在宁波市政务云上首次应用。仪式上, 东华软件还与宁波银行、宁波工业互联网研究院、宁波东投、宁波移动、 宁波电信、宁波联通、宁波市大数据投资发展有限公司等签署了服务器使 用协议。董事长薛向东表示,此后“鹏霄”服务器将在公司所覆盖的多个 行业领域进行大规模商业应用。

 2020 年 2 月 9 日,公司与青岛市工业和信息化局、崂山区人民政府签署了 《战略合作框架协议》。三方合作领域主要包括东华软件青岛产业园区、东 华信息创新生态基地、东华云都及大数据中心、互联网医院、孵化基地及 东华软件培训基地等六大板块。公司拟投资 30 亿元,在崂山区建设东华产 业园区,建立东华信息创新生态基地以落地崂山“鹏霄”服务器的生产及 配套软件的研发。

5.3 中国长城:兼具芯片及主机能力

 中国长城于 2017 年 1 月由中国电子信息产业集团有限公司(简称中国电 子)所属中国长城计算机深圳股份有限公司、长城信息产业股份有限公司、 武汉中原电子集团有限公司、北京圣非凡电子系统技术开发有限公司等四 家骨干企业重组整合组成,同年 3 月完成注册。公司目前从事的主要业务 主要有四块:

 高新电子业务,此块业务主要集中于军事通信、卫星与定位导航、海 洋信息安全产业及军用自主安全计算机及网络设备等领域;

 网络安全与信息化业务,以关系国家信息安全和国民经济命脉的重要 行业和领域为主要市场,提供软硬结合的核心产品、行业解决方案和 服务;

 电源业务,产品涵盖工业电源、消费电源等诸多领域。公司拥有专业 的电源技术研发团队与全国唯一的企业开关电源技术实验室,具备强 大的电源研发和制造能力;

 园区与房产资源,在满足自身经营需要的基础上,部分房产资源通过 对外租赁实现经济效益。

 2019 年 8 月,中国长城与华大半导体、中国振华签署股权书,拟定收购天 津飞腾 35%股权。天津飞腾是一家快速成长中的中国芯片设计企业,主要 致力于高性能、低功耗集成电路芯片的设计、生产、销售与服务。

 飞腾高性能服务器 CPU 主流产品是 FT-2000 /64,集成 64 个飞腾自研 FTC-662 核,16nm 工艺,主频 2.0-2.3GHz,典型功耗 100W,峰值性能 588.8GFlops,可以胜任大规模科学计算、云数据中心应用,性能与 Intel Xeon E5-2695V3 系列芯片相当。FT-2000 /64 较上一代 FT-1500A/16 计 算性能提升 5.5 倍,单位功耗算力提升近 2 倍,是更加高效更加绿色的芯 片。

5.4 中科曙光:制裁阴影逐渐消失,拐点初现

 中科曙光是在中国科学院大力推动下,以国家“863”计划重大科研成果 为基础组建的国家高新技术企业。公司是国内高性能计算领域的领军企业。 由曙光公司研发的“星云”高性能计算机在第 35 届全球超级计算机 “TOP500”中以每秒系 统峰值 达三千 万亿次(3PFlops)、每秒 实测 Linpack 值达 1.271 千万亿次的速度,取得了全球第二的成绩,成为世界上 第三台实测性能超千万亿次的超级计算机,再次向世界力证了“中国速度”。 公司主要从事研究、开发、生产制造高性能计算机、通用服务器及存储产 品,并围绕高端计算机提供软件开发、系统集成与技术服务。

 2018 年 11 月 26 日,公司公告分别与成都产业投资集团有限公司、成都高 新投资集团有限公司签订了《产权交易合同》,以挂牌价人民币 107,140 万 元取得海光信息 10.92%的股权,将合计持有海光股权达到 36.44%,成为第 一大股东。通过本次竞拍,公司能够对海光信息后续融资等重大事项拥有 否决权(股权比例超过三分之一)。

 天津海光 16 年与 AMD 达成合作,双方成立合资公司,天津海光获得 AMD Zen 架构授权,根据新浪报道,18 年 7 月,海光国产 X86 处理器Dhyana(禅定)开始量产,中科曙光也推出基于 DAhyana 芯片的国产架 构服务器产品。

 强化自研能力叠加政府补助,公司逐步走出美国断供阴影。2019 年 6 月 24 日,美国商务部工业与安全局(BIS)以“违反美国国家安全和外交政 策利益”为由,将中科曙光与海光信息添加到美国《出口管制条例》(EAR) 实体清单中。事件发生后,公司全面梳理了供应链,寻找可替代部件,并 通过调整生产计划、集中资源、梳理主营业务等方式缓解了对公司生产经 营的影响。2019 第三季度,供应链运营方面取得了实质性进展,已经形成 了相对完整的应对方案,能够保持公司供应链平稳运行;同时,公司持续 保持研发投入的增长,并强化自研能力,在先进计算、存储、大数据、云 计算等可以国产化的领域加大研发投入,包括在边缘计算服务器、存储软 件、国产化部件替代及国产服务器等领域,丰富产品类型,加大高附加值 的服务收入比例,构建从底层到应用系统化的信息技术基础设施,完善生 态。

六、投资建议

 推荐关注国产架构服务器整机厂商神州数码、中国长城、中科曙光、东华 软件。

……

(报告来源:国金证券)

获取报告请登录未来智库www.vzkoo.com。

立即登录请点击:「链接」

,

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com

    分享
    投诉
    首页