网易首页 > 网易科技 > 网易科技 > 正文

在流量洪峰中“乘风破浪”,存算分离助力电商玩转618

0
分享至

(原标题:在流量洪峰中“乘风破浪”,存算分离助力电商玩转618)

一年一度的年中电商大促——618购物节已经开启,由于2020年以来的疫情影响,导致近半年的国内消费需求被抑制,可以预见,此次电商购物节将迎来一轮消费市场的集中爆发,尤其在当前全行业都在努力拉动消费回升、促进经济恢复的时间节点下。

对于电商行业而言,爆发性的消费需求无疑将产生巨大的流量,虽说流量的背后意味着收益,但同时电商平台也为此付出着巨大的IT成本。举例来说,平时满足100个人的在线购物需求,购物节则至少要准备保障1000人正常购物的IT资源。

扩容带宽、CDN,增加计算资源、存储资源……这一切都是附着在高流量背后的高成本。其中,传统的存算一体架构就是较高的成本来源之一,计算和存储一体造成了资源的大量冗余,利用率偏低,尤其对于电商业来说更为明显。

领先的电商企业正在利用云计算优势,采用存算分离,使得存储和计算可以灵活配置,单独按需扩缩容,进而达到提升计算资源利用率、降低成本的目的。

存算分离:降本增效利器

一直以来,Hadoop架构以及大部分商用大数据软件均采用存算一体,即存储与计算是一体融合的,那么,为什么说“约定成俗”的存算一体带给了电商行业尤为高企的成本?

众所周知,电商具备流量波峰波谷的行业特点,在扩容时,就必须按照波峰去进行计算、存储的一体扩容,这显然对于资源的平均利用率造成浪费;另外数据会持续增长,但是计算能力不需要同步等比例增长。而传统存算一体上计算和存储资源的配比相对固定,也就意味着每提升多少存储容量,同时也要提升多少算力。

这种紧密绑定的模式,注定有一种资源是浪费的。根据数据统计,在计算存储合一的情况下,计算资源的平均利用率不到50%,本地HDFS一般采用三副本冗余机制使得存储的利用率不到33%。此外,这种封闭的架构难以向数据湖和大数据云化的方向演进,也就无法发挥数据的最大价值。

存算分离则打破了这一瓶颈,实质就是Hadoop计算组件部署与HDFS存储池解耦部署,计算组件的扩容和存储池的扩容无需耦合,从而极大的提升了大数据扩容的灵活性。数据湖存储采用先进的存储冗余机制,最大程度的提升了存储磁盘的利用率。

降本增效,存算分离后带来的好处十分明显:

计算和存储按需扩展,计算不足扩计算,存储不足扩存储,可以很大程度上避免资源浪费;存算分离后,计算和存储还可以分别云化,实现资源的动态分配;一些专业存储更是可以借助多租户能力,以统一的存储资源池支持多个大数据平台,实现多平台数据的高效共享。

华为云助推资源利用率最优化

由于存算分离架构带来的独特优势,它也正成为包括电商行业在内的众多行业企业建设大数据平台的新趋势。为此,华为云推出了基于云服务存算分离架构的大数据解决方案,让存储和计算资源可以灵活配置,综合分析成本最高可降低50%,目前已获得众多大型企业的青睐,并得到部署。

为什么华为云存算分离大数据解决方案能带来如此大幅的成本节省,又有哪些优势?从两个方面来说明。

首先,在存储层,华为云存算分离大数据解决方案以高性能、高可靠的OBS对象存储服务作为统一的数据湖存储底座。其创新性的提供了Data Multi-Protocol功能,支持HDFS、POSIX、S3等多种协议,实现用一份数据直接对接多种类型的计算引擎、AI平台,数据0搬移0拷贝,大幅节约存储空间,降低成本。同时OBS数据湖还具备EB级容量支持、单桶千亿对象数据管理能力和10TB级IO带宽能力、以及智能全局缓存加速能力,为大数据、AI训练等海量数据、批量计算场景提供高性能存储保证。

其次,在计算层,华为云存算分离大数据解决方案以鲲鹏高效算力作为计算底座,具备强大的多核处理优势,结合华为云在任务调度上的算法优化,使得CPU具有更高的并发能力,可为大数据和分布式应用场景带来20%的性能提升,实现相比业界通用架构平台更优的性价比。基于鲲鹏处理器,华为云提供了包括裸金属服务器、云服务器、容器和Serverless在内的多种粒度的算力支持,应对客户不同的场景需求。同时结合前述OBS数据湖存储方案,大数据平台的计算资源也变得“无状态”,从而带来了更加极致的按需使用、弹性扩缩容体验,进一步降本增效。

最后,在服务层面,华为云基于上述存储和计算基础架构的之上,进行了深度整合和优化,提供了基于存算分离架构的一系列大数据服务,包括MRS、DLI、CSS等一众服务都支持存算分离架构,这些大数据服务可以提供比自建更加灵活的弹性扩缩容、极简运维等优势。

以某Top社区电商为例,原本客户采用ES+Clickhouse+Hive分别满足用户行为日志详单查询、交互式分析、ETL等业务,多份数据产生“数据孤岛”,而且存算一体可扩展性差,成本居高不下。后来该社区电商采用了华为云存算分离+MRS CarbonData构建全场景数据湖解决方案,一份数据同时满足快速详单查询+交互式分析+ETL,PB级别数据详单查询秒级响应,交互式分析30秒内响应,ETL加速2倍。同时由于计算存储解耦,计算节点可随时按需快速扩缩容,最终整体成本下降超过50%。

从存算分离到智能数据湖,释放数据价值

数据越来越成为企业的核心资产,需要强调的是,华为云在存算分离架构之上形成的大数据解决方案为企业带来的不仅是性价比的提升,更为提升企业数据价值发挥作用。

传统来说,企业在挖掘数据价值上除了面临存算一体造成资源大量冗余的挑战外,还包括缺乏一个统一系统支撑所有数据分析导致的数据孤岛,以及随着数据规模的越来越大导致的数据运维和管理困难等挑战。

为此,华为云通过整合所有数据层面的能力,打造了智能数据湖解决方案,帮助企业释放数据价值。在统一数据存储层,华为云利用存算分离,实现存储和计算单独按需扩缩容,使资源利用率达到最大化;在多元计算层,全栈支持包括一站式大数据平台MRS服务,批流计算+交互式分析的多模计算DLI服务,以及增强的企业级数据仓库DWS服务等;在数据运营层,围绕数据处理过程提供端到端一站式数据运营能力,从数据集成、规范设计、开发、质量管理,到形成数据资产,以及对外开放服务支撑业务应用。

统一多数据源、消除数据孤岛、统一数据规范、提升数据质量,华为云智能数据湖真正帮助企业轻松实现“数据一盘棋”。围绕数据全生命周期的采、存、算、管、用的全面云化,在华为云企业智能EI的助力下,最终让数据成功创造价值。

相关推荐
热点推荐
谁动了我的黄金 | 深度聚焦

谁动了我的黄金 | 深度聚焦

北青深一度
2024-03-27 16:05:52
失控!坠梯!事发北京某小区!

失控!坠梯!事发北京某小区!

美丽大北京
2024-03-28 14:52:35
李禾禾:前外交部长李肇星之子,毕业后回国创业,妻子是歌星之女

李禾禾:前外交部长李肇星之子,毕业后回国创业,妻子是歌星之女

凌晨文史
2024-03-28 12:00:03
曝国足“寻枪+壮腰”人选初定!3将呼声高,两外援或成归化新目标

曝国足“寻枪+壮腰”人选初定!3将呼声高,两外援或成归化新目标

汪星人哟
2024-03-27 14:05:23
闹大了!游客遭死亡威胁含泪拍照,整个三亚都受牵连,警方出手了

闹大了!游客遭死亡威胁含泪拍照,整个三亚都受牵连,警方出手了

极客黄桃4J5K
2024-03-23 17:55:18
惊天大逆转!女乒世界亚军2-0领先连丢3局,一轮游出局止步32强

惊天大逆转!女乒世界亚军2-0领先连丢3局,一轮游出局止步32强

全言作品
2024-03-27 18:59:10
浙江:积极支持民营资本进入传统垄断领域

浙江:积极支持民营资本进入传统垄断领域

南方都市报
2024-03-27 23:19:43
结束3月世预赛,韦世豪晒照:珍惜和战友们并肩而战的日子

结束3月世预赛,韦世豪晒照:珍惜和战友们并肩而战的日子

懂球帝
2024-03-27 19:20:10
割耳朵!电击下体!恐袭嫌犯的俄式审讯有多刺激?

割耳朵!电击下体!恐袭嫌犯的俄式审讯有多刺激?

军武次位面
2024-03-27 17:14:40
国运来了挡都挡不住?俄乌战争最起码给中国又争取了五年时间

国运来了挡都挡不住?俄乌战争最起码给中国又争取了五年时间

曾经年少
2024-03-05 11:38:53
普京揪出最大“内鬼”,总理竟是敌方间谍,给中方敲响警钟!

普京揪出最大“内鬼”,总理竟是敌方间谍,给中方敲响警钟!

大国观察眼
2024-03-28 00:58:32
明年生效,美国佛罗里达州将禁止 14 岁以下儿童持有社交媒体账号

明年生效,美国佛罗里达州将禁止 14 岁以下儿童持有社交媒体账号

IT之家
2024-03-27 14:12:15
“美女你的臀部这么大,你不怕自己翻过来...”哈哈哈哈~

“美女你的臀部这么大,你不怕自己翻过来...”哈哈哈哈~

今日搞笑分享
2024-03-27 07:05:14
北京北汽为什么打不过广东队!范子铭一席话,说得非常实在

北京北汽为什么打不过广东队!范子铭一席话,说得非常实在

懂球哥评球
2024-03-28 07:19:26
南京鸡腿比杭州贵28.1元!山姆回应“同款不同价”

南京鸡腿比杭州贵28.1元!山姆回应“同款不同价”

鲁中晨报
2024-03-28 09:41:06
凯特王妃复活节与威廉王子去度假:整个王室像成了卡米拉天下

凯特王妃复活节与威廉王子去度假:整个王室像成了卡米拉天下

小兔子爱旅游
2024-03-28 01:58:51
一个家庭富不起来的根源:垃圾太多

一个家庭富不起来的根源:垃圾太多

洞见
2024-03-26 21:55:38
这下好了,胡萝卜也出来骗人了!这样带泥土的胡萝卜,你敢吃吗?

这下好了,胡萝卜也出来骗人了!这样带泥土的胡萝卜,你敢吃吗?

王大健美食日常
2024-03-28 14:09:11
国家一级演员,当了院长比西门庆玩的还花,潜规则女演员、画家

国家一级演员,当了院长比西门庆玩的还花,潜规则女演员、画家

叙说
2023-10-01 10:00:03
唐努乌梁海:17万平方公里的地盘,没有任何条约依据却并入了苏联

唐努乌梁海:17万平方公里的地盘,没有任何条约依据却并入了苏联

历史摆渡
2023-12-18 23:50:03
2024-03-28 17:18:44

科技要闻

王传福称合资品牌份额将降到10%

头条要闻

媒体:中国领导人对"中国见顶论"的回应非常重要

头条要闻

媒体:中国领导人对"中国见顶论"的回应非常重要

体育要闻

池江璃花子:我不打算输

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

疯狂!三个城市,三个地王!

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

本地
房产
教育
数码
军事航空

本地新闻

专访|张伟潮:最年轻的龙头专职制造者

房产要闻

上海非核心区限购政策即将出台,市场分化局面仍待优化

教育要闻

初中生给课本“换头”,课本涂鸦被比下去了,被学生的脑洞惊艳了

数码要闻

漫步者 B2 紧凑型电视音响开启预售,首发价 549 元

军事要闻

乌方声称击落两枚俄"锆石"高超音速导弹 俄方未予回应

无障碍浏览 进入关怀版
×