java -version

5.修改主机名

三台分别执行
vim /etc/hostname 并将内容指定为对应的主机名

6.关闭防火墙：
systemctl stop firewalld

名
查看防火墙状态：
systemctl status firewalld

取消防火墙自启：
systemctl disable firewalld

7.静态IP
配置

直接使用图形化界面配置（不推荐）

手动编辑配置文件进行配置

(1)编辑网络配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet

BOOTPROTO=static

HWADDR=00:0C:29:E2:B8:F2

NAME=ens33

DEVICE=ens33

ONBOOT=yes

IPADDR=192.168.190.100

GATEWAY=192.168.190.2

NETMASK=255.255.255.0

DNS1=192.168.190.2

DNS2=223.6.6.6

需要修改：
HWADDR
（
mac
地址
,centos7
不需要手动指定
mac
地

址）

IPADDR
（根据自己的网段，自定义
IP
地址）

GATEWAY
（根据自己的网段填写对应的网关地址）

(2)关闭
NetworkManager
，并取消开机自启

systemctl stop NetworkManager

systemctl disable NetworkManager

systemctl status NetworkManager

(3)重启网络服务

systemctl restart network

8.免密登录

(1)生成密钥

ssh-keygen -t rsa

(2)配置免密登录

ssh-copy-id master

ssh-copy-id node1

ssh-copy-id node2

(3)测试免密登录

ssh node1

9.配置好映射文件：
/etc/hosts

192.168.19.100 master

192.168.19.110 node1

192.168.19.120 node2

二、搭建Hadoop集群

在搭建之前，我们需要了解非高可用集群的分布情况：

去官网或者华为云镜像下载解压包

华为云镜像：https://mirrors.huaweicloud.com/apache/hadoop/common/hadoop-3.1.1/

(一)上传解压配置环境变量

1、解压

tar -xvf hadoop-3.1.1.tar.gz.gz

include文件夹存放一些第三方的东西，lib存放jar包

2、配置环境变量

vim /etc/profile

#增加配置

export HADOOP_HOME=/usr/local/soft/hadoop-3.1.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

4.使环境变量生效

source /etc/profile

(二)修改配置文件

1、进入hadoop配置文件所在位置，修改hadoop配置文件 cd /usr/local/soft/hadoop-3.1.1/etc/hadoop

2、修改core-site.xml配置文件,在configuration中间增加配置

vim core-site.xml

增加配置

  fs.defaultFS   hdfs://master:9000   hadoop.tmp.dir   /usr/local/soft/hadoop-3.1.1/tmp   fs.trash.interval   1440

3、修改hdfs-site.xml配置文件，在configuration中间增加配置

vim hdfs-site.xml

增加配置

  dfs.replication   1   dfs.permissions   false

4、修改yarn-site.xml配置文件，在configuration中间增加配置

vim yarn-site.xml

增加配置

  yarn.resourcemanager.hostname   master   yarn.nodemanager.aux-services   mapreduce\_shuffle   yarn.log-aggregation-enable   true

5.vim mapred-site.xml

        mapreduce.framework.name
        yarn
   

 
        mapreduce.jobhistory.address  
        master:10020  
   

 
        mapreduce.jobhistory.webapp.address  
        master:19888  
    

6.修改hadoop-env.sh配置文件

vim hadoop-env.sh

增加配置

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_202.jdk/Contents/Home

7.修改hadoop-env.sh配置文件

vim workers

增加配置

node1
node2

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

orkers

增加配置

node1
node2

[外链图片转存中…(img-48tnQphK-1714232419289)]
[外链图片转存中…(img-KcIr3UNO-1714232419290)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！