大数据学习流程

1. 学什么？

大数据通用处理流程：

在这里插入图片描述

数据仓库体系架构：
在这里插入图片描述

大数据平台通用架构和技术体系：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

2. 基础技能

  1. 语言：java（系统开发/API/工具二次开发）、scala、python、shell
  2. 服务器：linux

3. 数据采集

  1. flume（实时采集）
  2. cananl（实时采集）
  3. sqoop（ETL工具）
  4. kettle（ETL工具）
  5. datax（异构同步工具）
  6. streamset（实时采集&ETL工具）

4. 数据存储

  1. HDFS（分布式文件系统）
  2. HBASE（列式数据库）
  3. Kudu（列式数据库，同时支持OLAP）
  4. ES（分布式搜索）
  5. Redis（kv数据库）
  6. Kafka/Pulsar（管道工具）

5. 数据计算

1）离线

  1. MR（离线计算框架）

  2. Hive（数据仓库工具）

  3. Spark SQL（高性能数据仓库工具）

  4. 离线数据仓库

    • 数据仓库建模

    • 数据治理

      • 元数据
      • 质量
      • 资产

    • 指标体系

    • 数据安全

      • 数据安全
      • 服务安全

  5. 用户画像：标签体系

  6. 任务调度

    • Oozie
    • Azkaban
    • 小海豚
    • Airflow
2）实时

实时数据仓库架构

  • Flink（实时处理框架）
  • Spark Streaming（实时处理框架）

6. 应用

  1. 多维分析
    • Kylin（离线多维分析）
    • Doris（MPP数据库）
    • Clickhouse（高效列式存储）
    • Druid（实时多维分析引擎）
    • impala（数据仓库工具）
    • presto（分布式查询引擎工具）
  2. 报表工具
    • Superset
    • Datav
    • 达芬奇
# 数据分析 # 学习
Logo
腾讯云开发者社区

腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。

更多推荐

Elasticsearch复杂数据类型终极指南：从入门到精通

Elasticsearch作为功能强大的搜索引擎，支持多种复杂数据类型，让开发者能够灵活处理各种结构化和非结构化数据。本文将带你全面了解Elasticsearch中的复杂数据类型，从基础概念到实际应用，助你轻松掌握数据建模的核心技巧。## 内部对象：构建层级化数据结构在Elasticsearch中，对象类型（Object）是最基础的复杂数据类型之一，用于表示具有嵌套关系的数据。例如，我们可

avatar 腾讯云开发者社区

终极指南：Flink SQL连接器版本管理从混乱到有序的升级之路

Apache Flink作为流处理领域的佼佼者，其SQL连接器的版本管理一直是开发者面临的核心挑战。本文将系统讲解Flink SQL连接器版本管理的最佳实践，帮助你轻松应对版本兼容性问题，实现从混乱到有序的升级之旅。## 连接器版本管理的常见痛点 😫在Flink应用开发中，连接器版本管理常常让开发者头疼不已。不同版本的连接器可能导致各种兼容性问题，例如API变更、功能差异甚至运行时错误。

avatar 腾讯云开发者社区

如何快速搭建Neon无服务器PostgreSQL：面向初学者的完整指南

Neon是一款革命性的无服务器PostgreSQL解决方案，它通过分离存储和计算层，实现了自动扩缩容、类代码式数据库分支以及零级扩展能力。本指南将帮助你从零开始搭建Neon开发环境，体验这款创新数据库的强大功能。## 准备工作：环境要求与依赖项在开始搭建Neon环境前，请确保你的系统满足以下要求：- Linux操作系统（推荐Ubuntu 20.04+或Debian 11+）- Git

avatar 腾讯云开发者社区