对象存储技术栈（干货分享对象存储的入门级科普）

本期内容为大家做对象存储的入门级干货分享，主要以数据存储、存储介质、传统存储方式、对象存储的优点等方面为主，让大家对星驰云存储产品所采用的对象存储有所了解，一起来看看吧，今天小编就来聊一聊关于对象存储技术栈?接下来我们就一起去研究一下吧!

对象存储技术栈

本期内容为大家做对象存储的入门级干货分享，主要以数据存储、存储介质、传统存储方式、对象存储的优点等方面为主，让大家对星驰云存储产品所采用的对象存储有所了解，一起来看看吧！

01

数据存储

数据存储对象包括数据流在加工过程中产生的临时文件或加工过程中需要查找的信息。数据以某种格式记录在计算机内部或外部存储介质上。数据存储要命名，这种命名要反映信息特征的组成含义。数据流反映了系统中流动的数据，表现出动态数据的特征；数据存储反映系统中静止的数据，表现出静态数据的特征。

02

存储介质

磁盘和磁带都是常用的存储介质。数据存储组织方式因存储介质而异。在磁带上数据仅按顺序文件方式存取；在磁盘上则可按使用要求采用顺序存取或直接存取方式。数据存储方式与数据文件组织密切相关，其关键在于建立记录的逻辑与物理顺序间对应关系，确定存储地址，以提高数据存取速度。

03

传统存储方式

在很长的一段时间里，直连式存储(DAS)、存储局域网（SAN)和网络附加存储（NAS）几乎统治了数据存储市场。所有行业用户的数据存储需求，都是在这三者中进行选择。

DAS存储架构

DAS是Direct Attached Storage的缩写，即“直接连接存储”，是指将外置存储设备通过连接电缆，直接连接到一台计算机上。采用直接外挂存储方案的服务器结构如同PC机架构，外部数据存储设备采用SCSI技术，或者FC(Fibre Channel)技术，直接挂接在内部总线上的方式，数据存储是整个服务器结构的一部分，在这种情况下往往是数据和操作系统都未分离。

SAN存储架构

SAN是Storage Area Network的缩写，即“存储区域网络”。它采用SCSI快I/O命令集，通过磁盘或FC（iber Channel）级的数据访问提供高性能的随机I/O个数据吞吐率，它具有高宽带、低时延的优势，在高性能计算中占有一席之地，如SGI的CXFS文件系统就是基于SAN实现高性能文件存储的，但是由于SAN系统的价格较高，且扩展性较差，已不能满足成千上万个CPU规模的系统。

NAS存储架构

NAS是英文Network Attached Storage的缩写，即“网络附加存储”。它采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储，可扩展性好、价格便宜、用户易管理，如目前在集群计算中应用较多的NFS文件系统，但由于NAS的架构开销高、带宽低、延迟大，不利于在高性能集群中使用。

04

对象存储的产生

20世纪末，随着互联网的爆发，数据存储需求发生了两个重大的变化。

第一是数据量爆炸式增长。

Web应用的崛起、社交需求的刺激，极大地推动了多媒体内容的创作和分享。人们开始上传大量的照片、音乐、视频，加剧了数据量的爆发。此外，信息技术的发展、企业数字化的落地，也产生了大量的数据，不断吞食着存储资源。

第二是非结构化数据的占比显著增加。

什么是非结构化数据？

举例我们经常做的excel表格，姓名、身高、体重、年龄、性别，这种用二维表结构可以进行逻辑表达的数据，就是结构化数据。而图像、音频、视频、word文章、演示胶片这样的数据，就是非结构化数据。

目前，全球数据总量的80%，将是非结构化数据。面对这两大趋势，因为本身技术和架构的限制，DAS、SAN和NAS无法进行有效应对。于是，一种新的网络存储架构，基于对象存储技术的设备就是对象存储设备（Object-based Storage Device）简称OSD就应运而生。

05

OSD存储架构

OSD是bject-based Storage的缩写，即“对象存储”。其核心是将数据通路（数据读或写）和控制通路（元数据）分离，并且基于对象存储设备构建存储系统，每个对象存储设备具有一定的职能，能够自动管理其上的数据分布。对象存储结构由对象、对象存储设备、元数据服务器、对象存储系统的客户端四部分组成。

对象

对象是系统中数据存储的基本单位，每个Obeject是数据和数据属性集的综合体，数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储系统中用文件或块作为基本的存储单位，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据表项等。在存储设备中，所有对象都有一个对象标识，通过对象标识OSD命令访问对象。通常由多种类型的对象，存储设备上的根对象标识存储设备和该设备的各种属性，组对象是存储设备上共享资源管理策略的对象集合。

1. Data是用户数据本身。

2. Key是用于检索对象，服务器和用户不需要知道数据的物理地址，也能通过它找到对象。这种方法极大地简化了数据存储。

3. Metadata叫做元数据，它是对象存储一个非常独特的概念，其类似数据的标签。标签的条目类型和数量是没有限制的，可以是对象的各种描述信息。例如，如果对象是一张人物照片，那么元数据可以是姓名、性别、国籍、年龄、拍摄地点、拍摄时间等。在传统的文件存储里，这类信息属于文件本身，和文件一起封装存储。而对象存储中，元数据是独立出来的，并不在数据内部封装。这样做的好处非常明显，可以大大加快对象的排序，分类和查找。

对象存储设备

每个OSD都是一个智能设备，具有自己的存储介质、处理器、内存以及网络系统等，负责管理本地的Object，是对象存储系统的核心。OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。OSD的主要功能包括数据存储和安全访问、目前国际上通常采用刀片式结构实现对象存储设备。

OSD提供三个主要功能：

1. 数据存储。OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供接口访问方式，Client请求数据时用对象ID、偏移进行数据读写。

2. 智能分布。OSD用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能。

3. 每个对象数据的管理。OSD管理存储在其它对象上的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度。而在传统的NAS系统中，这些元数据是由文件服务器提供的，对象存储架构将系统中主要的元数据管理工作由OSD来完成，降低了Client的开销。

元数据服务器（Metadata Server，MDS）

MDS控制Client与OSD对象的交互，为客户端提供元数据，主要是文件的逻辑视图，包括文件与目录的组织关系、每个文件所对应的OSD等。主要提供以下几个功能：

1. 对象存储访问。MDS构造、管理描述每个文件分布的视图，允许Client直接访问对象。MDS为Client提供访问该文件所含对象的能力，OSD在接收到每个请求时先验证该能力，然后才可以访问。

2. 文件和目录访问管理。MDS在存储系统上构建一个文件结构，包括限额控制、目录和文件的创建和删除、访问控制等。

3. Client Cache一致性。为了提高Client性能，在对象存储系统设计时通常支持Client的Cache。由于引入Client方的Cache，带来了Cache一致性的问题，MDS支持基于Client的文件Cache，当Cache的文件发生改变时，将通知Client刷新Cvashe，从而防止Cache不一致引发的问题。

客户端Client

为了有效支持Client支持访问OSD上的对象，需要在计算节点实现对象存储系统的Client。现有的应用对数据的访问大部分都是通过POSIX文件方式进行的，同时为了提高性能，也具有对数据的Cache功能和文件的条带功能。同时，文件系统必须维护不同客户端上Cache的一致性，保证文件系统的数据一致。文件系统访问流程：

1. 客户端应用发出读请求；

2. 文件系统向元数据服务器发送请求，获取要读取的数据所在的OSD；

3. 然后直接向每个OSD发送数据读取请求；

4. OSD得到请求后，判断要读取的Object，并根据此Object的认证方式，对客户端进行认证，如果客户端得到收授权，则将Object的数据返回给客户端；

5. 文件系统收到OSD返回的数据以后，读操作完成。

06

对象存储的优点

对象存储的优点很多，简单归纳如下：

容量无限大

对象存储的容量是EB级以上。EB有多大？大家的硬盘普遍是TB级别。1EB约等于1TB的一百万倍.对象存储的所有业务、存储节点采用分布式集群方式工作，各功能节点、集群都可以独立扩容。从理论上来说，某个对象存储系统或单个桶（bucket），并没有总数据容量和对象数量的限制。换句话说，只要业务需要，就可以不停地往架构里增加资源，这个存储空间就是无限的。前期根据自身需求购买相应大小的对象存储空间。如果需要调整大小，也是支持弹性伸缩的，不需要进行数据迁移和人工干预。

数据安全可靠

对象存储采用了分布式架构，对数据进行多设备冗余存储（至少三个以上节点），实现异地容灾和资源隔离。根据云服务的承诺，数据可靠性至少可以达到99.999999999%。这意味着，1000亿个文件里，每月最多只会有1个文件发生数据丢失。这比一个人被陨石击中的概率还要小143000倍。数据访问方面，所有的桶和对象都有ACL等访问控制策略，所有的连接都支持SSL加密，OBS系统会对访问用户进行身份鉴权。因为数据是分片存储在不同硬盘上的，所以即使有坏人偷了硬盘，也无法还原出完整的对象数据。

使用方便

对于用户来说，对象存储是一个非常方便的存储方式。很多人把它比喻为“代客泊车”，你只需要把车扔给他，他给你一个凭证，你通过凭证取车就可以了。你不需要知道车库的布局，也不需要自己去费力停放。数据的存取方法也非常灵活多样。除了前面说的可以使用网页（基于http）直接访问之外，大部分云服务提供商都有自己的图形化界面客户端工具，用户存取数据就像用网盘一样。事实上，大部分的对象存储需求，并不是个人用户买来当网盘用，而且企业或政府用户用于系统数据存储。例如网站、App的静态图片、音频、视频，还有企业系统的归档数据等。像这种数据，是通过程序内部的接口调用的。对象存储提供开放的REST API接口。程序员在开发应用时，直接把存储参数写进代码，就可以通过API接口调用对象存储里的数据。相比文件存储那一串串的路径，对象存储要方便很多。

07

对象存储的应用场景

根据估算，目前全球互联网70%以上的热点数据是保存在对象存储系统中的。通常把存储业务分为3个等级，即标准型、低频型、归档型。对应的应用场景如下：

标准类型：移动应用 | 大型网站 | 图片分享 | 热点音视频

低频访问类型：移动设备 | 应用与企业数据备份 | 监控数据 | 网盘应用

归档类型：各种长期保存的档案数据 | 医疗影像 | 影视素材

08

对象存储文件系统的关键技术

分布元数据

传统的存储结构元数据服务器通常提供两个主要功能。

1. 为计算结点提供一个存储数据的逻辑视图（Virtual File System，VFS层），文件名列表及目录结构。

2. 组织物理存储介质的数据分布（inode层）。

   
   

对象存储结构将存储数据的逻辑视图与物理视图分开，并将负载分布，避免元数据服务器引起的瓶颈（如NAS系统）。元数据的VFS部分通常是元数据服务器的10％的负载，剩下的90％工作（inode部分）是在存储介质块的数据物理分布上完成的。在对象存储结构，inode工作分布到每个智能化的OSD，每个OSD负责管理数据分布和检索，这样90%的元数据管理工作分布到智能的存储设备，从而提高了系统元数据管理的性能。另外，分布的元数据管理，在增加更多的OSD到系统中时，可以同时增加元数据的性能和系统存储容量。

并发数据访问

对象存储体系结构定义了一个新的、更加智能化的磁盘接口OSD。OSD是与网络连接的设备，它自身包含存储介质，如磁盘或磁带，并具有足够的智能可以管理本地存储的数据。计算结点直接与OSD通信，访问它存储的数据，由于OSD具有智能，因此不需要文件服务器的介入。如果将文件系统的数据分布在多个OSD上，则聚合I/O速率和数据吞吐率将线性增长，对绝大多数Linux集群应用来说，持续的I/O聚合带宽和吞吐率对较多数目的计算结点是非常重要的。对象存储结构提供的性能是目前其它存储结构难以达到的，如ActiveScale对象存储文件系统的带宽可以达到10GB/s。

*本篇文章内容来源于网络

,