网易首页 > 网易科技 > 网易科技 > 正文

全球最高性能分布式存储系统幕后黑科技

0
分享至

(原标题:全球最高性能分布式存储系统幕后黑科技)

全球首个智能无损的数据中心网络AI Fabric

随着5G/大数据/AI发展,非结构化数据爆发式增长,更加关注TCO和效率提升,大容量 (云) 、大带宽 (视频, HPC/AI)、融合存储(数据湖)场景增长迅速,云化时代呼唤新架构数据存储,如果说集中式存储是火车的话,那么分布式存储就是是云时代的动车。行业关键客户云化转型进入深水区,分布式存储大势已来。

分布式存储从应用开发测试和备份归档场景起步,逐步进入虚拟化/云、大数据、HPC/AI等场景,一直以来大家更关注分布式存储扩展性,性价比,但是新场景对分布式存储的高性能低时延提出了更高的诉求。

分布式存储性能提升的天花板效应出现

一直以来,分布式存储的IO性能和时延受制于传统机械硬盘的访问速度。但随着闪存盘的广泛采用,分布式存储的整体性能得到了极大的提高,也为分布式存储冲击高价值存储市场提供了更多的可能性。但是传统上通过增加存储节点的并发度来提升性能的手段,在全闪存的分布式存储系统中代价越来越高,随着节点的增加带来的性能提升非常有限,另外是随着节点的增多时延会急剧的增加。

传统网络的拥塞丢包机制成为幕后黑手

为什么全闪存的分布式存储随着节点的增加性能提升不明显但是时延会急剧的增加呢?通过一次IO端到端时延的分析发现,随着闪存介质的的时延降低,网络的时延已经成为明显的短木板。在传统硬盘时代,90%的时延来自于硬盘访问时延,网络时延忽略不计;但是在闪存时代,us级的介质访问时延几乎可忽略,65%以上时延在网络中,特别是随着分布式存储中,存储节点的增加使得网络的拥塞加剧,带来了更高的网络时延。更进一步的分析得出,在网络的整个时延中,90%的时延来自拥塞导致的网络交换机内部的排队丢包。存储节点数越多,拥塞越越多导致丢包越严重,一旦重传带来的时延完全不可接受。

华为AI Fabric真正实现0丢包100%释放存储性能

如何构建一个0丢包的网络成为分布式存储突破性能天花板必须解决的问题。

我们知道大规模网络中流量超过交换机的处理和缓存能力时,基本的以太网处理机制就是丢弃报文。无损网络的实现虽然包含一系列流量调度机制和措施,但其核心都在于控制发送端的发送速度,从而避免超过交换机处理能力的拥塞形成。

如何根据交换机当前的拥塞情况精准的控制源端的发送速度?当前业界基本的做法是在交换机端口设置队列报文排队,一旦超过某一个阈值(临界水线),则意味着可能发生拥塞,就向源端反送反压降速信号,从而对可能发生的拥塞丢包。因此阈值非常非常关键,它影响发送反压信号的时机,是网络中是否发生拥塞的决定性关键因素。如何设置阈值成为无损网络技术创新的焦点和技术发展主线,大致可以分为三个阶段。

过去:静态设置,粗暴反压

最早的无损以太交换机的基本实现依赖网络管理员静态设置阈值,特别考验管理员能力,一旦设置的太保守,则可能降速太多,吞吐率很差;设置太激进则无法起到无损的效果。在早期FCoE阶段,流量模型相对简单,基本能够满足业务的诉求。但是随着当前RoCE流量模型复杂多变,一个静态的阈值无法满足变化的需求,当前这种设置方式正在被抛弃。

现在动态调整实时反馈

一些领先的网络厂商,在静态设置的基础上,提出了根据流量模型的变化实时调整阈值从而不断的逼近最优值,在吞吐和丢包之间进行平衡,取得了较好的效果,目前已经成为领先企业的主流选择。

但是,动态调整的问题,需要对流量进行实时采集分析,在大型框式设备上实现有一定的难度,另外虽然通过不断调整力争达到最优值,调整过程中与最优值还存在差距。

未来:智能预测,精准控制

2019年初,华为发布了业界首款面向AI时代的CloudEngine数据中心交换机,率先将AI芯片内嵌交换机中,独创iLossless 智能无损交换算法,实现网络100%吞吐下的真正0丢包与E2E μs级时延。据测试结果,效果已经无限逼近了最优值,确保无论多么网络拥塞,0丢包的基础上接近100%吞吐,这就是AI Fabric。通过AI Fabric构建的业界真正实现0丢包的以太网,可以将分布式存储网络时延持续的稳定在10us以下,揭开存储的天花板,充分的释放存储的性能。

AI Fabric助力华为分布式存储系统冲击全球性能之巅

目前AI Fabric已经应用到华为最新的OceanStor D系列分布式存储中,通过AI Fabric可以在同等的条件下,将时延降低15%,助力存储IOPS性能提升20%以上,冲击单节点16.8万IOPS的新高度。特别是AI Fabric确保通过增加存储节点可以接近线性的提升性能,而保持时延基本不变。

以下是实验室模拟的不同的业务负载下,分布式存储时延和性能情况。可以看到,AI Fabric开启后,时延降低了15%以上,IOPS最高提升了45%。

同时,今年华为云上线了基于OceanStor分布式存储底座的云盘,目前已经成为全球性能最高的云盘,单卷性能突破100万IOPS,时延控制在75us,这背后,也是AI Fabric在支撑海量数据场景的极致低时延。(文/王新)

华为公司简介

华为是全球领先的ICT(信息与通信)基础 设施和智能终端提供商,致力于把数字世界带入每个人、每个家庭、每个组织,构建万物互联的智能世界。我们在通信网络、IT、智能终端和云服务等领域为客户提供有竞争力、安全可信赖的产品、解决方案与服务,助力各行业数字化转型。

相关推荐
热点推荐
罢免侯友宜第一阶段连署突破2.5万份

罢免侯友宜第一阶段连署突破2.5万份

金瓯一统
2024-03-29 16:17:19
拳王邹市明自曝大瓜!和妻子冉莹颖分床睡三年,因训练比赛压力大

拳王邹市明自曝大瓜!和妻子冉莹颖分床睡三年,因训练比赛压力大

仙人掌说娱乐
2024-03-29 12:55:14
只有哈登才能激活我!傻芬渴望底薪加盟梦开始的地方

只有哈登才能激活我!傻芬渴望底薪加盟梦开始的地方

大梦篮球日记
2024-03-29 16:01:43
蔡依林现身广州街头,颜值依旧在线似少女,网友:这是43 岁吗?

蔡依林现身广州街头,颜值依旧在线似少女,网友:这是43 岁吗?

鑫鑫说说
2024-03-29 14:27:15
云南扣留37名游客处罚通报,导游罚1万,床垫店关门,大家满意吗

云南扣留37名游客处罚通报,导游罚1万,床垫店关门,大家满意吗

动物的温情故事
2024-03-29 00:10:41
陆毅证明了具俊晔确实是帅哥,大s的眼光还是准的!啊哈哈哈

陆毅证明了具俊晔确实是帅哥,大s的眼光还是准的!啊哈哈哈

娱乐圈酸柠檬
2024-03-28 12:00:00
李立群:我还以为就我一个人老了,结果全老了!

李立群:我还以为就我一个人老了,结果全老了!

映射生活的身影
2024-03-28 17:29:42
没有新坦克,也没有新火箭炮!号称世界第一的中国陆军,钱花哪了

没有新坦克,也没有新火箭炮!号称世界第一的中国陆军,钱花哪了

虎哥说航天
2024-03-27 07:00:03
雷蒙多:正在阻止中国获得算力,同时限制中国企业访问美数据中心

雷蒙多:正在阻止中国获得算力,同时限制中国企业访问美数据中心

科技铭程1
2024-03-28 14:09:31
孽债6:看望老夏,老川没安好心

孽债6:看望老夏,老川没安好心

金昔说故事
2024-03-29 15:53:40
首次!日本确认中国WZ-7现身日本海,印媒惊呼:过于先进难以应对

首次!日本确认中国WZ-7现身日本海,印媒惊呼:过于先进难以应对

沐风论道
2024-03-28 23:17:12
31号寒潮大降温,最新暴雪预警来袭,详细预测请点击查看!

31号寒潮大降温,最新暴雪预警来袭,详细预测请点击查看!

小毅讲历史
2024-03-29 11:19:00
五年亏损上千亿,拥有1900万司机的滴滴,终于实现盈利了!

五年亏损上千亿,拥有1900万司机的滴滴,终于实现盈利了!

阳阳科记
2024-03-27 09:07:28
加拿大人:中国人不可怕,可怕的是中国只需1小时我们却需要44年

加拿大人:中国人不可怕,可怕的是中国只需1小时我们却需要44年

云端书馆
2024-03-22 12:51:35
江苏超标电动车置换方案出台!主动淘汰补贴200元,考驾照补贴100元,上牌补贴50元

江苏超标电动车置换方案出台!主动淘汰补贴200元,考驾照补贴100元,上牌补贴50元

电动车小辣椒
2024-03-29 09:37:35
定了!上海知名地标拆除围墙,将24小时免费开放,最快就在“五一”前

定了!上海知名地标拆除围墙,将24小时免费开放,最快就在“五一”前

上观新闻
2024-03-29 10:00:38
高端大气尖头细跟,演绎气质潮流范儿,女性味道让你无法抵挡!

高端大气尖头细跟,演绎气质潮流范儿,女性味道让你无法抵挡!

小琳讲故事
2024-03-29 10:50:03
霸王条款?小米SU7被吐槽无法退定金

霸王条款?小米SU7被吐槽无法退定金

鞭牛士
2024-03-29 11:03:36
莫斯科恐怖袭击案,也“炸出”隐藏在中国内部“战略内鬼”

莫斯科恐怖袭击案,也“炸出”隐藏在中国内部“战略内鬼”

泥腿看客
2024-03-28 21:09:06
经典画面!李铁场边大声指挥:阿兰MOVE!阿兰MOVE!

经典画面!李铁场边大声指挥:阿兰MOVE!阿兰MOVE!

直播吧
2024-03-29 09:18:54
2024-03-29 18:16:49

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

头条要闻

奥巴马和克林顿露面支持拜登 特朗普方称要搞场更大的

头条要闻

奥巴马和克林顿露面支持拜登 特朗普方称要搞场更大的

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

胡夏被曝有孩子!工作室火速辟谣

财经要闻

张维迎:如何正确理解企业家精神?

汽车要闻

找回久违的开怀大笑 试驾小米SU7 Max

态度原创

家居
艺术
游戏
数码
公开课

家居要闻

弧岛栖居,极致温柔奶油底色

艺术要闻

艺术开卷|从闺阁、庭院到郊野,古画中的女性生活空间

《尸体派对2:黑暗扭曲》今年秋季登陆PS4、NS和PC

数码要闻

西部数据推出面向 NAS 应用的 24TB WD Red Pro 机械硬盘

公开课

30岁之前,你要学会的13件事情

无障碍浏览 进入关怀版
×