** 本专栏的Hadoop复习计划文章内容主要包含以下几个部分：

【简单】学习通习题

【进阶】课本课后练习

【操作】相关章节实验回顾

** 使用教材：大数据技术原理与应用（第3版）林子雨 编著

** 教材课后答案点这里

让我们开始吧！

学习通 - 习题

1. 以下哪个不是大数据时代的新兴技术

Mysql

2. 启动hadoop所有进程的命令是

start-all.sh

解析：

也可以分两步启动：

start-yarn.sh

start-dfs.sh

3. 以下对hadoop的说法错误的是

Hadoop是基于Java语言开发的，只支持Java语言编程

解析：

虽然Hadoop是基于Java语言开发的，但是调用hadoop的API接口则支持多种语言，除了java之外还有python、ruby等

课本 - 习题

1. 试述 hadoop 和谷歌的 mapreduce、GFS 等技术之间的联系

Hadoop的核心是：HDFS、Mapreduce

HDFS：谷歌文件系统GFS的开源实现

mapreduce：谷歌Mapreduce的开源实现

2. 试述hadoop具有那些特性

高可靠性、高效性、高拓展性、高容错性、成本低

在linux平台运行、支持多种编程语言

3. 试述hadoop在各个领域的应用情况

facebook - 将hadoop用于日志处理、推荐系统、数据仓库等方面

百度 - 用于日志存储、统计、网页数据的分析和挖掘、商业分析、在线数据反馈、网页聚类等

4. 试述hadoop的项目结构以及每个部分的具体功能

1）项目结构

pig	chukwa	hive	hbase
mapreduce		hdfs	zookeeper
common		avro

2）各部分功能

common - 为hadoop其他子项目提供支持的常用工具，主要包括文件系统、RPC和串行化库

avro - hadoop的子项目，用于数据序列化的系统

mapreduce - 针对谷歌mapreduce的开源实现，用于大规模数据的并行计算

hdfs - hadoop项目两个核心之一，针对谷歌文件系统GFS的开源实现

zookeeper - 针对谷歌chubby的开源实现，高效、可靠的协同工作系统，提供分布式锁等基本服务，用于构建分布式应用，减轻分布式应用程序所承担的协调任务

pig - 一种数据流语言和运行环境，适合使用hadoop和mapreduce平台上查询大型半结构化数据集

chukwa - 一个开源的、用于监控大型分布式系统的数据收集系统，可以将各类型数据收集为适合hadoop处理的文件，并保存在hdfs中

hive - 基于hadoop的数据仓库从机，可用于对hadoop文件的数据整理、特殊查询、分布存储

hbase - 高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库，一般采用hdfs作为底层数据存储

5. 配置hadoop时，java的路径JAVA_HOME是在哪个文件中进行配置的

/etc/profile

6. 所有节点的HDFS路径是通过 fs.default.name 来配置的，请问它是在哪一个文件中设置的

core-site.xml

7. 试列举hadoop单机模式和伪分布模式的异同点

相同点：

都是在同一台机器上运行

不同点：

1）分布式文件系统不同

单机模式：没有分布式文件系统，而是直接读写本地操作系统的文件系统

伪分布式：用不同的java进程模仿分布式运行中的各类节点（NameNode, DataNode,JobTracker,TaskTracker,SecondaryNameNode）

2）启动进程不同

单机模式：Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map和Reduce任务是作为同一个进程的不同部分来执行的

伪分布式：Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行，是相互独立的Java进程

3）配置文件的处理方式不同

单机模式：不对配置文件进行修改

伪分布式：修改3个配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml

** 参考：hadoop单机模式和伪分布式模式的异同

8. hadoop伪分布模式运行启动后所具有的进程都有哪些

nodemanager

namenode

secendarynamenoede

datanode

resourcemanager

jps