腾讯云大数据实时数仓,总结记录
·

业务场景:
金融:异常交易检测;股市订单交易;
广告:ADX实时竞价,媒体买量用户推送
游戏:实时交易,用户行为实时推荐,运营监控
汽车:自动驾驶,辅助驾驶
医疗:Ai实时诊断
商城/娱乐视频:内容推荐
OLAP组件对比
(自上而下)
传统(hive、spark、mapreduce)-分钟/小时:稳定
mpp(大规模并行处理)-秒:presto、impala
列存-毫秒:clickhouse、doris
架构方式:
lambda架构:流批混合,架构复杂
kappa架构:纯流式,架构简单,不适合回溯
lakehouse:数据湖+数仓(技术新)
hive离线(T+1)+当天新增的flink数据->DORIS提供服务
进行数据回溯时,需要重新读取日志,对于经常改变的复杂性的需求不适合
技术选型:hbase、clickhouse、flink
支持流批一体,简化链路,读写分离,都在同一个数仓里,里面支持读写和sql分析
更多推荐
所有评论(0)