【报告下载】后台回复关键词“数据智能”可免费下载数据猿最新发布的完整高清版《2021中国数据智能产业发展报告》





大数据产业创新服务媒体

——聚焦数据 · 改变商业


项目背景:超大规模数据库迁移带来性能、可用性等挑战

为提升数据中心服务化能力,推动大数据技术与业务的深度融合,进一步释放数据价值,该大型能源央企根据《数据中心云化建设工作指引》要求,启动了数据中心云化建设项目。同时,公司致力于逐步将公司企业级与专业级战略运营管控应用、各分子公司个性化运营管控应用集中至总部数据中心,以满足公司向智能电网运营商、能源产业价值链整合商、能源生态系统服务商转型的总体战略要求。

为了保障该项目的成功实施,该企业设计了《云数一体分布式数据中心技术方案》,数据中心是企业数字化转型的基础数据底座,与企业云共同组成 “云数一体”的弹性架构。方案中,采用分布式MPP(大规模并行处理)数据库承担数据湖及核心数据仓库建设。该企业之前部署的MPP数据库并非针对大规模业务环境所设计,存在无法实时接入kafka数据,无法与Hadoop、Hive、Hbase等大数据组件实现数据交互等问题,导致有数据交互的应用场景实现困难。同时,该数据库缺乏原厂技术支持以及租户资源隔离机制,存在一定的运维风险。因此,数据库替换变得迫在眉睫。

通过对多个同类产品的POC场景测试、产品成熟度分析等比较,该企业最终选用北京东方金信科技股份有限公司海盒MPP数据库(简称:SeaboxMPP)产品作为数据底座核心存储计算组件。

图1. 解决方案架构

解决方案:东方金信MPP数据库

海盒MPP数据库是一款运行在通用架构或云平台上,具备强大分析能力的分析型(OLAP)集群数据库软件,可提供 MPP 并行计算、支持按行/列存储数据库、数据库内压缩、高性能向量计算引擎、在线扩容、多级容错等功能,能够带来高性能计算、高可用性、多租户隔离、高集成性、强安全性、统一运维等优势。

图2. 海盒MPP数据库技术架构

海盒 MPP 数据库作为该公司大数据平台的重要组成节点,能够保障数据仓库/集市的高效运行。同时,海盒MPP数据库与大数据平台其它组件如Hadoop、Hive、HBase的联邦能力,保证了对上层运营管控、决策分析等服务类应用的充分支撑。

在性能层面,海盒 MPP 数据库提供了“节点间并行 + 节点内并行”机制,可执行向量计算引擎,具备超强的计算能力。海盒 MPP 数据库在列存场景下,聚集类运算获得了量级的性能提升。在东方金信开展的TPC-H测试中,海盒 MPP 数据库相较于对比的开源数据库,获得3~5倍的领先优势。

图3. TPC-H测试结果对比

应用效果:保证运营管控应用的成功迁移

在东方金信 MPP 解决方案的助力下,该大型能源央企成功将各级运营管控应用迁移到数据中心中,并实现了流畅稳定的运行。具体而言,该解决方案提供了如下价值:

●高并发支持应用流畅运行:由于东方金信海盒MPP数据库的向量计算引擎等技术,以及第二代英特尔至强可扩展处理器的强劲性能,可以在月末、年末等业务高峰期的高并发环境下,依然保证各级运营管控应用的流畅运行。

●消除数据中心云化障碍:东方金信海盒 MPP数据库提供了云原生支持,使数据中心的云化建设彻底消除技术障碍,整个升级过程十分顺利。

●确保面向未来的敏捷扩容:东方金信海盒 MPP 数据库线性扩展的能力使其能够根据业务发展需求,对于系统性能进行敏捷扩展。

●提升数据安全防护能力:该数据库支持透明数据加密,支持开发人员使用 AES 和加密算法来加密数据,同时可以与大数据组件安全认证;

●支持统一的运维管理:东方金信海盒 MPP 数据库可提供统一的可视化监控,以及统一的告警策略和对外告警发布,以保证数据库的稳定、可持续运营,降低运维压力。

展望:为超大规模业务构建数据处理能力基座

在数字化创新的推动下,能源、金融、运营商等行业用户的业务与数据正在快速转移到云端,云数据中心普遍往大规模乃至超大规模方向发展,并且扩张速度有加快的趋势,这有助于发挥资源统一管理、统一交付、统一调度、统一运维等方面的优势,也有助于更好地对成本进行敏捷控制。但同时,超大规模的云业务也会在数据库等层面带来性能、管理、扩展性等方面的挑战。

●上一篇精彩好文:

数据猿专访易快报创始人兼CEO马春荃:建设业财税档一体化体系,是企业数字化转型的关键

❷ 创新服务企业榜 

❸ 创新服务产品榜

❹ 最具投资价值榜 

❺ 创新技术突破榜

条漫:《看过大佬们发的朋友圈之后,我相信:明天会更好!》

联系数据猿

北京区负责人:Summer

电话:18500447861(微信)

邮箱:summer@datayuan.cn

全国区总负责人:Yaphet

电话:18600591561(微信)

邮箱:yaphet@datayuan.cn

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐