华为oca分布式存储（寻找宇宙第一缕曙光）

爱因斯坦曾经说过“宇宙中最不可理解的事情，就是宇宙是可以被理解的。”人们尚不足以理解宇宙，但人们却一直以来都尝试观测宇宙。也许每个人都曾仰望星空，好奇宇宙到底有多大，引力波、暗物质、黑洞都是怎么回事儿。天文让我们意识到人类的渺小，好奇心又让人类不断探索宇宙。可以说天文望远镜是地球的眼睛，关于它，你是否也有很多问号？

一问：人类有史以来建造的最大射电天文望远镜是？

答：不是哈勃望远镜

在绝大多数人们的印象中，能叫出名字的天文望远镜一定是哈勃望远镜了。哈勃望远镜的全称是哈勃空间望远镜（Hubble Space Telescope），是以美国天文学家爱德温·哈勃为名，于1990年4月24日成功发射，位于地球的大气层之上的光学望远镜。

而人类有史以来建造的最大射电天文望远镜，则是平方公里阵列射电望远镜（Square kilometer Array, SKA）。于2011年由全球超过10个国家共同出资建造、运行、维护和管理的一部国际大科学装置，将是人类有史计划建造的世界最大综合孔径射电望远镜，将开启人类认识宇宙的新纪元。

作为全球最大科学合作计划，SKA始终致力于回答宇宙的一些最基本问题，如宇宙的第一缕曙光、宇宙的结构形成、宇宙中的生命起源等。对这些问题的研究必将开辟人类认识宇宙的新纪元。中国作为SKA成员国之一，致力于寻找“宇宙第一缕曙光”，揭开宇宙从黑暗走向光明这一壮观的历史画卷。

二问：SKA牛在哪？

答：不但能打，还不单打独斗

SKA横跨三大洲，台址位于澳大利亚、南非及南部非洲8个国家的无线电宁静区域，由分布在3000km范围内的约2500面15m口径碟形天线（高频）、250km范围内的250个直径约60m的致密孔径阵列（中频）以及130万个对数周期天线组成的稀疏孔径阵列（低频）组成，其等效接收面积达平方公里级，频率覆盖范围为50MHz～20GHz，核心处的半径在5km左右。与现有地面最大的射电望远镜阵列EVLA相比，SKA的灵敏度提高了50倍，巡天速度提高了10000~200000倍

以往的天文望远镜往往是单打独斗或仅形成局部网络，受地域限制都只能观测星空的很小一部分，许多重要天文事件可能因此未被发现。而将世界各地的天文望远镜连成网络后，可以更加全面地观测整个星空，减少“鱼儿漏网”的几率。此外，在某一重大天文事件发生时，也可通过宽广的观测网络来抵消地球自转的影响，利用各地望远镜持续不断地观测。

三问：SKA还有什么超出想象？

答：将产生天文学有史以来最大的数据流

SKA将产生天文学有史以来最大的数据流。一旦投入运行，仅在SKA的第一阶段，生成的数据将达到约760PB！（1PB约105万GB）

SKA能否取得里程碑式的重大科研成果，取决于SKA 科学数据处理能力和科学分析研究水平。承担SKA最终的科学处理、面对科学家用户、直接产生科学成果的工作将由 SKA 区域中心完成。中国SKA区域中心将作为国际上几个大型区域数据中心之一，一方面承担一定份额的SKA数据处理和存储的国际义务，另一方面重点为中国乃至亚洲区域科学用户提供必要的计算和数据存储资源以及技术支持。

中国SKA区域中心原型机研制任务，由上海天文台负责完成。其中存储系统的构建，是至关重要的一环。SKA巨大的数据量，高性能计算集群，分布在全球的SKA科学用户，对区域中心的存储系统提出了极高的要求，包括极致（I/O）高带宽低时延；动态扩容、模块化设计，保护投资；极致可靠，对数据缺失零容忍。

满足SKA的存储需要具备四种能力

首先，SKA需要处理多任务高度并发的应用。以SKA第一阶段全规模工作流实验为例，整个实验仿真宇宙再电离6小时观测，多任务高度并发，数据峰值速度达到400Gb/s。需要构建高性能存储系统，提升最大并发用户数。

其次，需要大幅提升IO性能，支撑SKA的天文大数据处理。以SKA的特征星体检索任务为例，天文学家人工分析模式下需要169天，超强算力昇腾集群服务将时间缩短为10秒。为了匹配高性能计算集群，缩短数据访问时间，需要构建低时延、高带宽的存储系统。

第三，海量天文数据的深度分析、存档发布、科学研究、技术研发，面临可扩展性、经济成本可承受、稳定性和灵活适应性等多方面的挑战，需要可以平滑扩容的存储系统，降低TCO和提升存储系统利用率。

第四，SKA区域中心，将吸引SKA国际伙伴和其他成员围绕SKA进行科学研究和交流。其数据重要性不言而喻，任何天文数据的缺失都会对最后的科研结果产生影响，失之毫厘谬以千里。这需要高可靠性的存储系统，来保障SKA区域中心的全天候可访问的能力。

四问：地球之眼谁来擦亮？

答：华为HPC存储舍我其谁

为解决当前SKA天文数据处理过程中的问题，上海天文台携手华为OceanStor海量存储，打造了高性能、高可靠、平滑扩容的数据分析处理平台。基于华为OceanStor海量存储，上海天文台建成“ 世界上首台SKA区域中心原型机 ”，入选2019年中国天文十大科技进展，满足SKA数据中心未来10~30年数据发展需求，在即将筹建的SKA区域中心全球网络中发挥引领性作用。

华为OceanStor海量存储，采用DHT（Distributed Hash Table）算法结合对高性能硬件（全NVMe SSD配置时）快速兼容，最大并发用户数由400增加至1000，成功支撑迄今最大规模的SKA工作流程测试。

创新分层读缓存机制，缩短数据访问时间，对于常见的4K数据读写，平均时延保持在1ms左右；对于内部组网，采用大吞吐、低时延的InfiniBand交换机，内部数据交换带宽由10Gb/s扩展至128Gb/s，缩短数据访问时间，大幅提升IO性能，支撑天文大数据处理。

采用Scale-out架构设计，可以进行动态灵活扩容。增加存储节点和存储设备，在不影响原有业务的情况下，容量和性能两个维度进行扩展。降低TCO和提升存储系统利用率，应对SKA区域中心未来10~30年数据发展需求。

采用创新EC算法，为SKA提供数据可靠保障。重构能力也能提升到传统存储的10倍，1小时重构2TB。

中国科学院上海天文台射电天文科学与技术室副主任&SKA课题组组长安涛表示：

我们需要重点解决海量数据的高效能的汇集海量数据的处理以及协同功能。华为OceanStor系统具有高效能，高稳定性和大规模扩展能力，非常适合SKA数据处理和数据存储能够支持SKA项目的数据处理需求。我们期待在未来与华为公司能够有更深入的合作，进一步的验证和拓展华为OceanStor分布式存储的能力，共同探索一条面向未来SKA EB量级海量存储的解决方案。