客户介绍 #

中国移动云盘（原“和彩云网盘”）为用户提供微信文件、手机图片、通讯录等数字资产的存储备份、在线管理、群组共享等服务；支持任一终端上传，所有终端 (APP、小程序、iPad 、PC、TV、网页端等) 同步可见，月活跃用户规模位居行业第二，致力于成为 5G 时代用户个人与家庭的数字资产管理中心。

客户痛点/挑战 #

随着移动云盘业务的快速增长，移动云盘平台的搜索数据库资产已达 70+ PB，日志日增 4TB，数据的搜索和写入都出现性能瓶颈，不同模块的日志分析和业务监控告警难度呈指数级上升。性能短板主要体现为：

• 高并发批量操作引发长尾效应，响应速度劣化
• 大集群协调节点负载失衡，响应速度不稳定
• 大集群批量操作局部失败，业务重试耗时久

解决方案 #

为满足业务监控的准确性、搜索的高并发和低延时需求，保障 1 亿+ 活跃用户的百亿资产的秒级搜索。采用了极限网关（ INFINI Gateway）作为代理，实现多集群的汇集，给用户提供一个统一的外观模式，透明化内部数据的细节。

通过协同 Elasticsearch（简称：ES）多集群，采用网关时间轮路由、分流错位、批重排写入等技术手段，提升带宽复用、降低延迟。在存储层形成冷热分层，提升节点工作效率与存储利用率，并通过时间窗口、慢查询剪枝、外置处理引擎等方式优化查询性能。

客户收益 #

1、搜索性能提升 #

通过设置慢查询召回时间，智能路由，链路监控，对长尾效应进行管理，实现性能优化。实现集群查询 QPS 达 10000+，响应速度提升 50%。

2、搜索和写入延迟降低 #

业务线条产生百亿级别的数据，涵 DeleteByQuery、Bulk 等多种写入类型，通过批写入重排技术，高性能硬盘实现了写入延迟平均降低 45%，查询实时性提升 80%左右。

3、降本增效 #

结合时间轮路由、分流写入、冷热分离、日志场景查询优化等技术手段，接入总量过 PB 的 100+ 业务线条的监控告警、业务日志，实现业务链路数据关联查询。运维、监控、告警投入从 10 人降低至 6 人每年，成本节约 30% 左右。

4、荣获 2023 大数据“星河”数据库标杆案例 #

基于移动云数据库，借助极限网关，通过优化 ES 批量写入及分拆重组技术，实现数量级下数据高性能存取，为云盘日志搜索分析和监控告警等奠定海量存储及高性能查询基础，产出 PB 级数据高性能存取标准解决方案，并荣获由中国信息通信研究院和中国通信标准化协会大数据技术标准推进委员会（CCSA TC601）共同组织的 2023 大数据“星河（Galaxy）”案例 数据库标杆案例。