一. daemon 守护进程管理

1. NameNode守护进程管理

hadoop-daemon.sh start namenode

2. DataNode守护进程管理

hadoop-daemon.sh start datanode

3. ResourceManager守护进程管理

yarn-daemon.sh start resourcemanager

4. NodeManager守护进程管理

yarn-daemon.sh start nodemanager

二. 查看日志 

$ HADOOP_HOME/logs/hadoop-hadoop-namenode-hadoop1.log
$ HADOOP_HOME/logs/yarn-hadoop-resourcemanager-hadoop1.log
$ HADOOP_HOME/logs/hadoop-hadoop-datanode-hadoop1.log
$ HADOOP_HOME/logs/yarn-hadoop-nodemanager-hadoop1.log

三. 清理临时文件

HDFS的临时文件路径:${hadoop.tmp.dir}/mapred/staging

本地临时文件路径:${mapred.local.dir}/mapred/local

定期执行负载均衡

脚本:sbin/start-balancer.sh -t 10%

-t:HDFS达到平衡状态的磁盘使用率偏差值。如果机器与机器之间磁盘使用率偏差小于10%,那么我们就认为HDFS集群已经达到了平衡的状态。

四. 文件系统检查 

hdfs fsck /

五. 元数据备份

hdfs dfsadmin -fetchImage fsimage.backup

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐