centos7中安装hadoop3.1.3
1.直接编辑 sudoers 文件,赋予tianjia用户sudo权限
2.创建hadoop用户
sudo useradd -m hadoop -s /bin/bash
3.设置hadoop用户密码
sudo passwd hadoop
4.为hadoop用户增加管理员权限,减少权限问题
sudo usermod -aG wheel hadoop
5.退出当前登录用户,使用hadoop用户名进行登录,并且finalshell中需要再连接一下使用hadoop用户登录的linux虚拟机
6.用 hadoop 用户登录后,我们先更新一下 yum,后续我们使用 yum 安装软件,如果没更新可能有一些软件安装不了。
7.更新yum
sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
sudo yum update -y
8.安装vim编辑器,后续会用到
sudo yum install vim
9.集群、单节点模式都需要用到 SSH 登陆,centos7 默认已安装了 SSH client,此外还需要安装 SSH server
sudo yum install openssh-server
10.安装后,可以使用如下命令登陆本机(本机发起ssh协议,再登录在本机):
ssh localhost
此时会有如下提示(SSH首次登陆提示),输入 yes 。然后按提示输入密码 hadoop,这样就登陆到本机了。但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
11.配置无密码ssh登录
exit #退出刚才的ssh密码登录
cd ~/.ssh
ssh-keygen -t rsa #生成密钥,全部提示都按回车
cat ./id_rsa.pub >> ./authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
chmod 600 ~/.ssh/id_rsa
chmod 644 ~/.ssh/id_rsa.pub
按照这个步骤可以实现ssh无密码登录
12.在windows系统中去下载JDK1.8,然后在finalshell中点击文件上传按钮,选择文件上传
13.解压缩jdk压缩包
cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm目录用来存放JDK文件
cd ~ #进入hadoop用户的主目录
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm
14.设置环境变量
cd ~
vim ~/.bashrc
上面命令使用vim编辑器(查看vim编辑器使用方法)打开了hadoop这个用户的环境变量配置文件,请在这个文件的开头位置,添加如下几行内容:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
保存.bashrc文件并退出vim编辑器。然后,继续执行如下命令让.bashrc文件的配置立即生效:
source ~/.bashrc
这时,可以使用如下命令查看是否安装成功:
java -version
到此java安装成功
15.安装hadoop3.1.3
首先需要在windows中下载hadoop3.1.3的安装包,然后上传至finalshell,然后执行以下命令进行解压缩
sudo tar -zxf hadoop-3.1.3.tar.gz -C /usr/local
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop
16.Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
cd /usr/local/hadoop
./bin/hadoop version
17.Hadoop单机配置
Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。hadoop中自己包含了相关的测试用例,现在我们可以执行例子来感受下 Hadoop 的运行。
cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/* # 查看运行结果
18.Hadoop伪分布式配置
编写以下代码找到core-site.xml和hdfs-site.xml两个文件
先对core-site.xml进行配置
vim core-site.xml
将core-site.xml文件中原本的对删除,再将以下内容复制到core-site.xml中
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
再对hdfs-site.xml进行配置
vim hdfs-site.xml
将hdfs-site.xml文件中原本的对删除,并将以下内容复制到hdfs-site.xml中
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
配置完成之后,执行 NameNode 的格式化:
cd /usr/local/hadoop
./bin/hdfs namenode -format
格式化之后,就可以去启动hdfs
./sbin/start-dfs.sh

使用jps命令测试hdfs有没有成功启动,成功启动结果如下
19.运行伪分布式实例
./bin/hdfs dfs -mkdir -p /user/hadoop
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input
./bin/hdfs dfs -ls input
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep input output 'dfs[a-z.]+'
./bin/hdfs dfs -cat output/*
更多推荐

所有评论(0)