腾讯云开发者社区 hadoop各个组件功能

hadoop各个组件功能

HDFS 分布式文件系统YARN 资源管理系统MapReduce 分布式计算框架ZooKeeper分布式协调服务Hbase分布式数据库Flume 日志收集Sqoop 数据同步工具Oozie 作业流调度系统Ambari 安装部署工具Hive基于MR的数据仓库Mahout 数据挖掘库Pig数据分析系统计算框架:MapReduce 离线计算Tez DAG计算Spark 内存计算st...

HDFS 分布式文件系统

YARN 资源管理系统

MapReduce 分布式计算框架

ZooKeeper分布式协调服务

Hbase分布式数据库

Flume 日志收集

Sqoop 数据同步工具

Oozie 作业流调度系统

Ambari 安装部署工具

Hive基于MR的数据仓库

Mahout 数据挖掘库

Pig数据分析系统


计算框架:

MapReduce 离线计算

Tez DAG计算

Spark 内存计算

storm 实时计算


数据分析系统

Hive基于MR的数据仓库

Pig数据分析系统


Hadoop作业流调度引擎

Oozie 

Azkaban 


转载于:https://blog.51cto.com/corasql/1738114

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐

  • 浏览量 208
  • 收藏 0
  • 0

所有评论(0)

查看更多评论 
已为社区贡献8条内容