网易首页 > 网易科技 > 网易科技 > 正文

2天完成17TB数据量迁移,华为云数据库是如何做的?

0
分享至

(原标题:2天完成17TB数据量迁移,华为云数据库是如何做的?)

童年时候,我们会对着墙上挂着的中国地图,来认识一处处山川河流和城市人文。如今,数字化时代下,传统的地图已经不能满足人们的需求,如何获取各种丰富的地理内容和实时动态信息成为现代人普遍的地理信息诉求。

作为国家基础地理信息公共服务平台,天地图集成了来自国家、省、市(县)各级测绘地理信息部门,以及相关政府部门、企事业单位 、社会团体、公众的地理信息公共服务资源,以门户网站、服务接口、前置服务等形式向政府、专业部门、企业、公众等用户提供在线地理信息服务。

此前,国家基础地理信息中心携手华为云,基于天地图平台,共同打造云上智慧地图,促进地理信息资源共享和高效利用,让世界触手可及。

地理数据量增加,数据库弹性迎挑战

天地图覆盖全国300多个地级以及地级以上城市0.6米分辨率的卫星遥感影像等地理信息数据,全库数据量达到17TB,数据吞吐量巨大。巨大的吞吐量和高额运维成本,促使国家基础地理信息中心迫切寻求低成本、高可用、高性能、大容量的数据库产品,同时希望可以将迁移时间压缩到2天左右。

●低成本:早期天地图运营投入较多资金,包括数据库在内的IT投入成本居高不下。业务有读写分离诉求,希望在保证性能的前提下,通过一套实例实现读写分离,从而降低数据库成本。

高可用社区版MongoDB一个shard多数节点故障,就会导致该shard成为只读,因此希望提供无状态的路由节点,实现快速故障转移。

性能天地图每天的访问量在6亿左右,随着数据量和业务访问量的增加,现有系统不足以支撑日益增长的业务需求,需要更高性能的数据库来支撑日益增长的业务数据。

容量:随着瓦片层级增加,数据量越来越大,现有MongoDB扩容难度大,需要一款数据库支持不少于20TB的瓦片数据,支持在线扩容。

运维效率:运维人力有限,系统运维压力越来越大,运维工作成本越来越高,现有社区版MongoDB难以支撑运维工作需求。希望能够提供数据库自运维能力,能为数据库做技术兜底,降低运维成本。

天地图&华为云

彰显云上“数字中国”新魅力

天地图业务数据复杂,数据种类多样,结合客户诉求和业务特点,华为云数据库采用公有云对外服务为主,私有云对内测试为辅的混合云架构,提供多种数据库引擎方案,联合打造高性能、高可用的数字底座。

华为云GaussDB(for Mongo)提供在线地图的瓦片数据处理服务;华为云RDS for PostgreSQL提供矢量数据和三维数据处理服务;华为云RDS for MySQL提供用户管理和专题图层属性服务,多款数据库极速融合,共同发力,17TB的海量数据迁移仅仅用了2天。

高可用特性加持,业务稳定运行

天地图作为国家级的服务平台,数据的安全可靠可谓至关重要。华为云GaussDB(for Mongo)支持跨AZ高可用,拥有完善的跨区域容灾策略,每天自动进行全量备份和增量备份,并定期进行恢复演练,验证备份恢复流程的有效性,实现分钟级备份恢复。同时提供无状态的路由节点,支持秒级故障转移,客户业务无感知,业务运行稳定。

超高性能与大容量,再大流量也不怕

天地图为30+部委机构和全国30多个省市提供地理信息基础平台服务,日均API和服务调用超过6亿次,访问压力极大。华为云GaussDB(for Mongo) 可实现分钟级节点扩容和秒级存储扩容,满足敏捷业务弹性需要,对天地图高达上亿的访问毫无压力,响应能力快稳准,有效保障了天地图在高负载情景下业务的正常运行。而且GaussDB(for Mongo)基于存算分离架构和rocksdb优化,相比开源MongDB性能提高3倍以上,最大支持96TB的数据处理能力,完全满足天地图海量业务请求。

降本增效不止一点点

GaussDB(for Mongo)完全兼容MongoDB协议,客户业务无需任何改造,即可轻松切换数据库,极大减少了改造成本;而且通过实时生成快照和删除快照的能力,GaussDB(for Mongo)实现一套集群即可提供读写分离的能力,数据库成本节省至少50%。天地图上华为云之后,基于数据库服务自动化运维平台,数据更新效率提升5倍,新业务上线速度提高2倍,还减轻了DBA繁重的运维压力,让客户更聚焦业务层面。

自2019年2月上线以来,华为云数据库已轻松支撑天地图6亿+的日均访问量,保障业务平稳运行,实现零事故;同时为公众提供了更为全面、精准、权威、 智能、人性化的地理信息服务,让全社会共享测绘发展成果,感受“数字中国”的独特魅力。

Ps:【云数据库特惠专场】新用户4.5折起,助力企业效益增长,详情请登录华为云官网

相关推荐
热点推荐
美国在菲部署中导之际,中国突然亮相新军事技术,强调可用于南海

美国在菲部署中导之际,中国突然亮相新军事技术,强调可用于南海

奇思妙想草叶君
2024-04-20 00:50:03
“千亿阔太”徐子淇在家荡秋千,不过这秋千也太丑了…

“千亿阔太”徐子淇在家荡秋千,不过这秋千也太丑了…

娱乐圈酸柠檬
2024-04-18 18:51:35
欧冠纪录变天!4人有望超越C罗,皇马底蕴无解,C罗也无奈

欧冠纪录变天!4人有望超越C罗,皇马底蕴无解,C罗也无奈

祥谈体育
2024-04-20 16:25:25
以色列第二次轰炸伊朗,中东局势开始循环升级

以色列第二次轰炸伊朗,中东局势开始循环升级

创业扫地僧
2024-04-20 20:52:27
梁朝伟金像奖影帝风波升级!刘嘉玲疑回击王晶,评论区却力挺王晶

梁朝伟金像奖影帝风波升级!刘嘉玲疑回击王晶,评论区却力挺王晶

小徐讲八卦
2024-04-19 16:23:40
2种水果堪称天然“养骨王”,常吃不怕骨头松!不知道的亏大了.

2种水果堪称天然“养骨王”,常吃不怕骨头松!不知道的亏大了.

北青网-北京青年报
2024-04-19 20:48:22
孙颖莎的意外爆冷有3大原因,给王曼昱让路终于成功,奥运也稳了

孙颖莎的意外爆冷有3大原因,给王曼昱让路终于成功,奥运也稳了

阿信点评
2024-03-17 21:17:45
大事不妙,A股发出严重警告,这两个方向或将血流成河

大事不妙,A股发出严重警告,这两个方向或将血流成河

一树梨花红
2024-04-20 16:56:10
以色列攻击伊朗,我国的米波雷达莫名“躺枪”!什么情况?

以色列攻击伊朗,我国的米波雷达莫名“躺枪”!什么情况?

科普大世界
2024-04-19 22:42:34
一日之内,大陆对台湾“两箭齐发”,台湾陈建仁高呼:这是突袭

一日之内,大陆对台湾“两箭齐发”,台湾陈建仁高呼:这是突袭

基斯默默
2024-04-20 00:08:38
6分钟内摧毁19个导弹基地,80架战机被击落,228枚导弹成炮灰

6分钟内摧毁19个导弹基地,80架战机被击落,228枚导弹成炮灰

环球Talk
2024-03-04 23:19:28
40岁希尔顿现身纽约街头,全身上下毫无瑕疵,像天使一样

40岁希尔顿现身纽约街头,全身上下毫无瑕疵,像天使一样

风趣环球笔记
2024-04-18 05:00:03
他祸乱沙俄,睡遍贵族妇女,性器官因过于巨大被博物馆保存至今

他祸乱沙俄,睡遍贵族妇女,性器官因过于巨大被博物馆保存至今

魏惊蛰
2023-07-19 11:28:14
胡某,当场死亡!死亡后果自担!

胡某,当场死亡!死亡后果自担!

潘集帮
2024-04-19 09:08:35
男子被妻子开水烫后续:已出院,只掉层皮,夫妻和好如初!

男子被妻子开水烫后续:已出院,只掉层皮,夫妻和好如初!

农人老寓
2024-04-20 20:51:18
打通中方电话后,五角大楼态度强硬,这一次,我防长公开对美摊牌

打通中方电话后,五角大楼态度强硬,这一次,我防长公开对美摊牌

奇思妙想草叶君
2024-04-18 17:37:09
“最具领导力中国医院院长”被查!而这位院士为救人放弃天价财富

“最具领导力中国医院院长”被查!而这位院士为救人放弃天价财富

华人星光
2024-04-19 16:46:10
何洁开战!0713兄弟团齐打call!何洁太幸福了!评论区都羡慕哭了

何洁开战!0713兄弟团齐打call!何洁太幸福了!评论区都羡慕哭了

小娱乐悠悠
2024-04-20 13:05:49
西媒:皇马球员都想踢国家德比,安帅可能更换2-3名首发

西媒:皇马球员都想踢国家德比,安帅可能更换2-3名首发

直播吧
2024-04-20 20:46:15
张本智和父亲培养了“纯正日本人”!何卓佳:张本美和不会普通话

张本智和父亲培养了“纯正日本人”!何卓佳:张本美和不会普通话

开成运动会
2024-04-12 01:22:35
2024-04-20 21:50:44

科技要闻

华为今年最关键的事曝光!Pura 70有新消息

头条要闻

媒体:面对反报复伊朗没接招 以色列下步将更孤注一掷

头条要闻

媒体:面对反报复伊朗没接招 以色列下步将更孤注一掷

体育要闻

克莱,愿赌服输

娱乐要闻

北影节开幕之夜,内娱女星千娇百媚

财经要闻

新华资管香港的秘密:猛投地产或致巨亏

汽车要闻

78.9万的极氪009光辉 让加价MPV无话可说

态度原创

亲子
本地
旅游
时尚
公开课

亲子要闻

消化科医生透露,3个消积第一名,孩子肠胃空空,积食全没了

本地新闻

春色满城关不住|千阳春日限定美景上线了!

旅游要闻

最像江南的湖南城市,中国基建没它不行

“人间真实”的厦门爷爷街拍:无美颜、无滤镜,穿搭简约才最高级

公开课

睡前进食会让你发胖吗?

无障碍浏览 进入关怀版
×