网易首页 > 网易科技 > 网易科技 > 正文

磨砺八年 青云科技升级国产化分布式存储产品 

0
分享至

(原标题:磨砺八年 青云科技升级国产化分布式存储产品 )

古有十年磨一剑,今有八年造存储。QingStor NeonSAN(分布式块存储)、QingStor对象存储、QingStor文件存储以及QingStor融合存储四款产品,就是青云QingCloud 存储产品线——QingStor历经八年,锻造出来的四大明星产品,并且全部都经过了公有云和私有云的大规模验证,甚至相比开源产品的优势更加凸显。

为云而生的存储

十年前的企业级存储市场,将分布式存储和全闪存储设定为主要发展趋势,而且市场也是非常规律的逐渐发展。也正因为这样,让QingStor存储产品线研发负责人王煜看到了当前存储市场发生的巨大变化。

王煜接受赛迪网采访时表示:"QingStor是'为云设计、为云而生'的一款产品。全线产品都是从零开始,自主设计、自主研发。在当下国内的分布式厂商中,有些是基于开源的分布式存储作为底层做二次封装和二次开发,QingStor有本质的区别,从架构设计阶段,就采用了自己的架构设计理念,完全没有参考当下开源的存储架构。"

为什么要选择自研这条非常艰难的方向来做?主要基于两点,王煜介绍:

第一,企业核心业务上云,对于存储的要求是非常严格的。这个严格不仅仅是像传统存储对性能、稳定性的要求这么简单,更多的是云计算中复杂场景下对于安全性、隔离性、大规模水平扩展能力的要求。市面上很多主流的开源存储,没有一款能够完全满足上述所有要求。

Ceph本身在性能上有很大的弊端,很难承载企业客户关键性的核心业务。HDFS是Google 2006年GFS论文的开源实现,针对互联网大数据的场景,并不是非常通用,它的单点问题、扩展性问题,都是难题。HDFS的底层是一个单机文件系统,并没有做太多的改造。所以单机文件系统本身存在的问题,如海量小文件的问题,HDFS也存在。

第二,希望作为一家中国企业,能够为中国客户提供全栈自研的优质产品,从而消除企业对数据安全的顾虑。

(图1)

据悉,青云QingCloud从2012年开始推出第一个版本的云计算产品,就在存储的底层坚持采用完全自研的方式,因此在过去8年时间里,累了大量在云计算环境下,对于存储的需求和技术的实践。到目前为止,QingStor产品家族里有四款专业存储产品,共同支撑市面上几乎全部主流的云计算产品。如(图1)所示,左边是青云QingCloud自家的产品,包括公有云、私有云等,都是由QingStor作为底层存储来支撑。(图1)右侧是青云QingCloud对接的很多主流的平台,包括VMware虚拟化平台、OpenStack云平台,还包括目前容器领域最火的Kubernetes容器平台。

唯一支持Oracle RAC的全闪软件定义存储产品

提到SAN,首先想到的是"高端",可以跑核心业务,如数据库。青云QingCloud在设计QingStor NeonSAN时,就希望打造一款拥有极致性能的分布式存储产品,采用缩短I/O路径栈,去掉本地文件系统,提高协议转换效率等方法,打造一款拥有极致性能的分布式SAN存储产品。正是因为这样的设计,QingStor NeonSAN能够稳定地支撑企业的核心业务,比如核心数据库Oracle RAC。到目前为止,市面上可以很稳定、快速地跑Oracle RAC的,几乎全都是传统存储。在分布式存储里,QingStor NeonSAN应该是第一款,也是唯一一款能够很好支持Oracle RAC的全闪SDS产品。

QingStor存储产品线产品经理冯相东,接受赛迪网采访时表示:"从1.0版本到现在的3.0版本,QingStor NeonSAN 整个产品迭代都在围绕核心场景打造产品的能力。截至目前,持续赋能云平台/虚拟化场景、大数据场景、业务连续性场景以及最近这两年非常火的容器/云原生的四个主要核心场景。"

KubeSphere KF3000容器一体机,是青云QingCloud帮助企业级用户快速落地容器平台,专门推出的一款新产品,结合了KubeSphere 以及QingStor NeonSAN两款产品本身的企业级能力,可以说是强强联合。冯相东希望,这款产品能够打造成为云原生基础设施的新标杆,加速容器化环境的生产落地。

冯相东强调,目前在市面上,只有青云QingCloud可以为企业级市场提供容器平台商业化能力的同时,又具备国内比较领先的分布式存储能力。因此,在 KubeSphere KF3000一体机上,青云QingCloud做了代码的优化,也做了软硬件一体化的调优工作。KF3000这款一体机绝不是功能模块的简单拼凑,而是通过大量的深层优化而具有整体性的产品,提供整体的商用级服务。另外,这款产品里的核心组件经过规模化的生产验证,可靠性方面没有任何问题。

本次QingStor NeonSAN 3.0版本的功能升级,包含四大新增功能,冯相东介绍:

第一,异构存储池支持。方便用户在一套集群内使用不同硬件配置的节点,给客户更灵活的选择,不同的业务可以放在不同节点的存储池上。

第二,卷粒度的QoS。它不单纯是存储层面的,QoS还可以对接物理机、云平台里的虚拟机、容器里的Pod,和每个卷上面的应用形成更紧密的关联,保证不同存储集群内不同业务对QoS的需求。

第三,在协议层面的全 RDMA 互联。目前不管是在物理机、虚机还是容器平台上,QingStor NeonSAN都可以支持端到端的RDMA的互联。

第四,对于业界最主流的 NVMeoF 协议的支持。QingStor NeonSAN在网络层面,以NVMeoF 通过NVMe协议访问后端存储上NVMe接口的SSD,进一步提高存储的访问效率。

QingStor NF6000的能力——3节点100万IOPS

QingStor NF6000分布式全闪存储一体机也是本次青云QingCloud重磅推出的新品,从(图2)右边的表格可以看到QingStor NF6000的配置是基于标准的x86服务器,看似很平常的硬件配置,通过最小规模的3节点集群,青云QingCloud 可以给到客户3节点100万IOPS的性能指标,并且保证时延在0.5毫秒以下,这是QingStor NF6000分布式全闪存储一体机的能力。

(图2)

冯相东认为,这个指标完全是业界主流的中高端全闪阵列性能指标,青云QingCloud 则基于标准的x86服务器、普通的硬件配置、普通的以太网络,以高性价比的硬件形态提供给用户,这是QingStor NF6000分布式全闪存储一体机最大的价值。

为什么QingStor NF6000分布式全闪存储一体机可以实现一个3节点100万IOPS的性能指标?首先,QingStor NeonSAN是专门为全闪设计的软件栈,软硬件的匹配度非常高,参数都是我们反复测试确定的最优参数。其次,硬件的性能得到充分发挥,特别是NVMe SSD的性能,我们基本可以压榨到90-100%的水平。

除了性能是最大的亮点外,作为一体机,QingStor NF6000分布式全闪存储一体机提供开箱即用的体验,插电后简单地配置就能把存储用起来。在运维层面,针对已选定的硬件,还可以做硬盘点灯的功能,减少运维层面的工作内容。这是QingStor NF6000分布式全闪存储一体机及其核心价值。

面向未来的对象存储

对象存储是分布式存储领域里一个新晋的派系,它解决非结构化数据存储的问题,如海量图片、音视频、日志、归档备份等。这些数据读取的频率并不是特别高,通常是一次写入、多次读取的模型。但是其数据容量、数据数量都是非常大的。因此QingStor对象存储设计的核心是承载海量的数据。在整个架构设计时,采用了完全Share-Nothing的架构,没有任何单点,每一个组件都是可以无限水平扩展,并且性能不会下降。

QingStor 对象存储产品经理贾斌接受赛迪网采访时表示:"有句成语叫'鱼和熊掌不可兼得',通常认为在一件事物身上,是无法同时拥有两个极致的特性。QingStor 并不这样认为,尤其是在对象存储上。因为对于对象存储来说,如果要想服务好当下和未来的业务场景,势必要解决海量存储和超高性能共存的问题。"

所以, QingStor 对象存储花了很大的精力,在海量数据存储能力、整体超高性能、存储系统开放能力,这三个方向上做重点突破。贾斌认为,这是得益于对技术架构的深度思考和设计,使数据I/O能够做到极致效率。总结下来就是一句话——QingStor 对象存储3.0是一款鱼和熊掌兼得的存储服务,兼得存储海量数据和数据存储的超高性能。

如果评价存储技术是整个IT技术的皇冠,文件存储应该是皇冠上的明珠。文件存储在技术架构的实现上是非常复杂和艰难的,目前在世界范围内能把文件存储,尤其是能够做好一款分布式文件存储的厂商很少。

QingStor 文件存储研发负责人黄蒙,接受赛迪网采访时表示:"今天发布的QingStor文件存储2.0版本,是为通用场景设计的。QingStor文件存储的接口协议部分可以完整支持POSIX语义接口,从而帮助企业零成本无缝对接企业内部各种应用系统。"

黄蒙认为,拥有通用的标准文件接口,拥有多层次的扩展性,可以同时适配差异化的文件存储需求是QingStor文件存储2.0版本要具备的三个能力。并且,在设计这款产品时,首先确定的是希望打造一款云计算基础架构下,更加通用的文件存储产品,这与青云QingCloud作为一家云计算科技公司的使命和基因是分不开的。

无论是从产品定位, 还是架构设计原则,青云QingCloud所做的所有的努力, 都是旨在打造一款在云计算基础架构下更加通用的文件存储产品,黄蒙希望能通过这款产品帮助更多类型的应用更平滑上云,享受到更好的云计算基础设施带来的便利。

不为性能妥协的融合存储

融合存储是青云QingCloud 2019年在CIC云计算峰会上发布的一款全新产品。为了满足想一次采购,获得多种存储类型和存储接口,承载各种业务,甚至是还不能预期一些业务需求的客户,而打造的一款产品。与其叫产品,不如叫平台更合适。因为QingStor融合存储跟Ceph有一个非常本质的区别,虽然把QingStor NeonSAN(分布式块存储)、QingStor对象存储、QingStor文件存储,三款专业的存储在部署层面上做了整合,但是在架构层面上依然保持每一个专业存储本身的架构特点,底层存储池融合在QingStor NeonSAN块存储中,使用统一的管理界面进行管理。

QingStor融合存储与Ceph最大的区别,它是一款不为性能妥协的融合存储。青云QingCloud希望给用户提供统一管理体验,提供统一存储池的同时,还能完完整整地享受到QingStor NeonSAN(分布式块存储)、QingStor对象存储、QingStor文件存储,三款专业存储的功能和性能。

Portal 3.0三大升级亮点

值得一提的是,在本次新版本发布里,QingStor全新升级了管理平台Portal 3.0。这次升级的核心改进有三点,王煜介绍:

第一,加入对象存储的管理,这是在去年发布的2.0版本里没有的。加入对象存储管理后,实现存储后台的统一管理,可以用同一个管理后台管理所有存储产品。

第二,在新版本的管理平台里,运用了很多创新的图形元素的方式,增强企业运维人员对存储的理解。

第三,增加了硬盘健康状况预警功能,帮助运维人员在硬盘发生故障之前,提早预测系统内部可能发生的故障。因为硬盘本身有很多指标,我们会把这些指标抓出来做分析,从而提早帮助运维人员发现问题、规避问题。

完全区别于基于开源存储二次开发的商业存储

QingStor在软件架构层面上,不仅仅是自主研发,更是自主设计,完全区别于基于开源存储二次开发的商业存储公司。此次QingStor升级发布最核心的是把存储全栈产品线进行国产化。除了软件架构的部分,底层的芯片和操作系统,也与很多国产化厂商进行合作和互认证,包括鲲鹏、海光、飞腾、OpenPower等,还有操作系统,统信、麒麟等。希望通过国产化适配,能够让QingStor存储产品线实现全栈国产化,从而消除企业客户的顾虑和担忧。

相关推荐
热点推荐
99岁马哈蒂尔,为何还被查了?

99岁马哈蒂尔,为何还被查了?

中国新闻周刊
2024-04-26 21:05:34
田馥甄发文:“我在天津等你”,遭全网抵制!天津文旅被骂到关评

田馥甄发文:“我在天津等你”,遭全网抵制!天津文旅被骂到关评

娱乐八卦木木子
2024-04-26 21:48:11
回顾:张阳畏罪自杀,刘源评价“五毒俱全,问题比郭、徐更严重”

回顾:张阳畏罪自杀,刘源评价“五毒俱全,问题比郭、徐更严重”

李姐历史
2024-04-26 09:31:58
周鸿祎突然咳嗽不停,三锥子扎不出血,网友怀疑是癌症

周鸿祎突然咳嗽不停,三锥子扎不出血,网友怀疑是癌症

映射生活的身影
2024-04-26 21:51:02
承认分手!出轨偷吃,脚踏两条船?

承认分手!出轨偷吃,脚踏两条船?

听风听你
2024-04-26 13:09:43
“美国‘火’了!Tiktok如何点燃美国五四运动之火,挑战霸权?”

“美国‘火’了!Tiktok如何点燃美国五四运动之火,挑战霸权?”

头条爆料007
2024-04-26 11:42:13
选址日报:本田投797亿建超级工厂;丰田斥101亿建生产基地

选址日报:本田投797亿建超级工厂;丰田斥101亿建生产基地

选址中国
2024-04-26 17:12:40
超离谱判罚!王大雷被冲撞却判进球,中超昏哨遭炮轰,VAR立功

超离谱判罚!王大雷被冲撞却判进球,中超昏哨遭炮轰,VAR立功

奥拜尔
2024-04-26 21:42:37
捅了马蜂窝了!太极藿香正气口服液,出厂价9块,知名药店卖9.3

捅了马蜂窝了!太极藿香正气口服液,出厂价9块,知名药店卖9.3

穷游天下的阿等
2024-04-26 20:31:41
受伤影响!利拉德半场10中2拿到9分5助攻

受伤影响!利拉德半场10中2拿到9分5助攻

直播吧
2024-04-27 07:07:14
众生相!湖人0-3陷入绝境,赛后詹姆斯直接离场,主场观众狂嘘

众生相!湖人0-3陷入绝境,赛后詹姆斯直接离场,主场观众狂嘘

天涯沦落人
2024-04-26 12:45:18
美智库:普京政权正摇摇欲坠,随时可能解体

美智库:普京政权正摇摇欲坠,随时可能解体

日新说Copernicium
2024-04-26 04:45:16
一个国家被踢出SWIFT系统的后果非常的严重!

一个国家被踢出SWIFT系统的后果非常的严重!

华夏司马北
2024-04-24 22:01:49
网飞又一部力作,上线就放出8集,最后一集飙上9.3分!

网飞又一部力作,上线就放出8集,最后一集飙上9.3分!

热荐电影
2024-04-27 00:02:27
笑死了!东北人有多重视孩子?网友:看到我怀孕,气的把我赶走了

笑死了!东北人有多重视孩子?网友:看到我怀孕,气的把我赶走了

蛙斯基娱乐中
2024-04-25 20:41:16
“加钱就能那个!”坐拥3万名技师,它年入20亿要上市漂白

“加钱就能那个!”坐拥3万名技师,它年入20亿要上市漂白

前沿科技学习分享圈
2024-04-26 23:00:35
越南一工厂因订单不足,给工人无薪放假,遭遇集体大罢工,许多女工表示:这是逼我们辞职

越南一工厂因订单不足,给工人无薪放假,遭遇集体大罢工,许多女工表示:这是逼我们辞职

越南语学习平台
2024-04-26 10:38:38
证券突发惊掉下巴的消息,金融圈传的沸沸扬扬,A股的好戏要开始

证券突发惊掉下巴的消息,金融圈传的沸沸扬扬,A股的好戏要开始

彩云的夕阳
2024-04-27 00:00:58
江苏一处长工作时间与女下属开房,被举报8个月无人管,照片流出

江苏一处长工作时间与女下属开房,被举报8个月无人管,照片流出

求实者
2024-04-26 19:14:39
李小璐吐槽大会脱鞋露脚,不得不说姐是懂流量密码的!

李小璐吐槽大会脱鞋露脚,不得不说姐是懂流量密码的!

娱乐圈人物大赏
2024-04-26 11:50:15
2024-04-27 07:52:49

科技要闻

车展观察|德系日系绝不能放弃中国市场

头条要闻

继东航后国航也购买百架C919飞机 价格约为108亿美元

头条要闻

继东航后国航也购买百架C919飞机 价格约为108亿美元

体育要闻

硬不起来的阿波,软不下去的切特

娱乐要闻

金靖回应不官宣恋情结婚的原因

财经要闻

贾跃亭,真他娘是个人才

汽车要闻

2024北京车展 比亚迪的自驱力让对手紧追猛赶

态度原创

艺术
手机
数码
旅游
家居

艺术要闻

画廊周北京迎来第八年, “漂留” 主题聚集 30 余家艺术机构与 40 场展览

手机要闻

系列首次,三星Galaxy Z Fold6 Ultra手机再现踪迹

数码要闻

小米自带线充电宝 20000mAh 上架:支持 33W 功率,售价 159 元

旅游要闻

白俄,中国人的快乐福地?

家居要闻

光影之间 空间暖意打造生活律动

无障碍浏览 进入关怀版
×