业务场景
金融:异常交易检测;股市订单交易;
广告:ADX实时竞价,媒体买量用户推送
游戏:实时交易,用户行为实时推荐,运营监控
汽车:自动驾驶,辅助驾驶
医疗:Ai实时诊断
商城/娱乐视频:内容推荐

OLAP组件对比

(自上而下)

传统(hive、spark、mapreduce)-分钟/小时:稳定
mpp(大规模并行处理)-秒:presto、impala
列存-毫秒:clickhouse、doris


架构方式:
lambda架构:流批混合,架构复杂
kappa架构:纯流式,架构简单,不适合回溯
lakehouse:数据湖+数仓(技术新)



hive离线(T+1)+当天新增的flink数据->DORIS提供服务


进行数据回溯时,需要重新读取日志,对于经常改变的复杂性的需求不适合
技术选型:hbase、clickhouse、flink


支持流批一体,简化链路,读写分离,都在同一个数仓里,里面支持读写和sql分析





 

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐