东方金信海盒MPP数据库,助力某大型能源央企超大规模数据中心建设
“【报告下载】后台回复关键词“数据智能”可免费下载数据猿最新发布的完整高清版《2021中国数据智能产业发展报告》大数据产业创新服务媒体——聚焦数据 · 改变商业项目背景:超大规模数据库迁移...
“【报告下载】后台回复关键词“数据智能”可免费下载数据猿最新发布的完整高清版《2021中国数据智能产业发展报告》
大数据产业创新服务媒体
——聚焦数据 · 改变商业
项目背景:超大规模数据库迁移带来性能、可用性等挑战
为提升数据中心服务化能力,推动大数据技术与业务的深度融合,进一步释放数据价值,该大型能源央企根据《数据中心云化建设工作指引》要求,启动了数据中心云化建设项目。同时,公司致力于逐步将公司企业级与专业级战略运营管控应用、各分子公司个性化运营管控应用集中至总部数据中心,以满足公司向智能电网运营商、能源产业价值链整合商、能源生态系统服务商转型的总体战略要求。
为了保障该项目的成功实施,该企业设计了《云数一体分布式数据中心技术方案》,数据中心是企业数字化转型的基础数据底座,与企业云共同组成 “云数一体”的弹性架构。方案中,采用分布式MPP(大规模并行处理)数据库承担数据湖及核心数据仓库建设。该企业之前部署的MPP数据库并非针对大规模业务环境所设计,存在无法实时接入kafka数据,无法与Hadoop、Hive、Hbase等大数据组件实现数据交互等问题,导致有数据交互的应用场景实现困难。同时,该数据库缺乏原厂技术支持以及租户资源隔离机制,存在一定的运维风险。因此,数据库替换变得迫在眉睫。
通过对多个同类产品的POC场景测试、产品成熟度分析等比较,该企业最终选用北京东方金信科技股份有限公司海盒MPP数据库(简称:SeaboxMPP)产品作为数据底座核心存储计算组件。
图1. 解决方案架构
解决方案:东方金信MPP数据库
海盒MPP数据库是一款运行在通用架构或云平台上,具备强大分析能力的分析型(OLAP)集群数据库软件,可提供 MPP 并行计算、支持按行/列存储数据库、数据库内压缩、高性能向量计算引擎、在线扩容、多级容错等功能,能够带来高性能计算、高可用性、多租户隔离、高集成性、强安全性、统一运维等优势。
图2. 海盒MPP数据库技术架构
海盒 MPP 数据库作为该公司大数据平台的重要组成节点,能够保障数据仓库/集市的高效运行。同时,海盒MPP数据库与大数据平台其它组件如Hadoop、Hive、HBase的联邦能力,保证了对上层运营管控、决策分析等服务类应用的充分支撑。
在性能层面,海盒 MPP 数据库提供了“节点间并行 + 节点内并行”机制,可执行向量计算引擎,具备超强的计算能力。海盒 MPP 数据库在列存场景下,聚集类运算获得了量级的性能提升。在东方金信开展的TPC-H测试中,海盒 MPP 数据库相较于对比的开源数据库,获得3~5倍的领先优势。
图3. TPC-H测试结果对比
应用效果:保证运营管控应用的成功迁移
在东方金信 MPP 解决方案的助力下,该大型能源央企成功将各级运营管控应用迁移到数据中心中,并实现了流畅稳定的运行。具体而言,该解决方案提供了如下价值:
●高并发支持应用流畅运行:由于东方金信海盒MPP数据库的向量计算引擎等技术,以及第二代英特尔至强可扩展处理器的强劲性能,可以在月末、年末等业务高峰期的高并发环境下,依然保证各级运营管控应用的流畅运行。
●消除数据中心云化障碍:东方金信海盒 MPP数据库提供了云原生支持,使数据中心的云化建设彻底消除技术障碍,整个升级过程十分顺利。
●确保面向未来的敏捷扩容:东方金信海盒 MPP 数据库线性扩展的能力使其能够根据业务发展需求,对于系统性能进行敏捷扩展。
●提升数据安全防护能力:该数据库支持透明数据加密,支持开发人员使用 AES 和加密算法来加密数据,同时可以与大数据组件安全认证;
●支持统一的运维管理:东方金信海盒 MPP 数据库可提供统一的可视化监控,以及统一的告警策略和对外告警发布,以保证数据库的稳定、可持续运营,降低运维压力。
展望:为超大规模业务构建数据处理能力基座
在数字化创新的推动下,能源、金融、运营商等行业用户的业务与数据正在快速转移到云端,云数据中心普遍往大规模乃至超大规模方向发展,并且扩张速度有加快的趋势,这有助于发挥资源统一管理、统一交付、统一调度、统一运维等方面的优势,也有助于更好地对成本进行敏捷控制。但同时,超大规模的云业务也会在数据库等层面带来性能、管理、扩展性等方面的挑战。
●上一篇精彩好文:
数据猿专访易快报创始人兼CEO马春荃:建设业财税档一体化体系,是企业数字化转型的关键
联系数据猿
北京区负责人:Summer
电话:18500447861(微信)
邮箱:summer@datayuan.cn
全国区总负责人:Yaphet
电话:18600591561(微信)
邮箱:yaphet@datayuan.cn
更多推荐
所有评论(0)