Hadoop安装spark教程
·
1.将下载后的安装包上传到文件夹下
2.解压:
tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz
3.设置环境变量:
vim /etc/profile
//添加如下内容
export SPARK_HOME=/opt/spark/spark-3.0.0-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin
使配置生效:
source /etc/profile
4.修改配置:
#进入/spark-3.0.0/conf复制以下几个文件
# cp spark-defaults.conf.template spark-defaults.conf
# cp slaves.template slaves
# cp spark-env.sh.template spark-env.sh
#修改spark-defaults.conf启用yarn模式
spark.master yarn
#在sbin的目录下的spark-config.sh 文件下未添加JAVA_HOME的索引
#在该配置文件下添加 : export JAVA_HOME=/opt/java/jdk1.8.0_121
5.启动:
#进入/spark-3.0.0/sbin,启动spark
# ./start-all.sh
6.浏览器访问spark master默认地址:http://192.168.134.132:8080/
如果打不开网址:防火墙未关。
解决办法:
systemctl stop firewalld.service
打开效果图:

7.输入:jps

多了一个master和worker
更多推荐
所有评论(0)