1.将下载后的安装包上传到文件夹下

2.解压:

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz

3.设置环境变量:

vim /etc/profile


//添加如下内容

export SPARK_HOME=/opt/spark/spark-3.0.0-bin-hadoop3.2

export PATH=$PATH:$SPARK_HOME/bin

使配置生效:

source /etc/profile

4.修改配置:


#进入/spark-3.0.0/conf复制以下几个文件
# cp spark-defaults.conf.template spark-defaults.conf
# cp slaves.template slaves
# cp spark-env.sh.template spark-env.sh
 
 
#修改spark-defaults.conf启用yarn模式
spark.master     yarn


#在sbin的目录下的spark-config.sh 文件下未添加JAVA_HOME的索引
#在该配置文件下添加 : export JAVA_HOME=/opt/java/jdk1.8.0_121

5.启动:

#进入/spark-3.0.0/sbin,启动spark
# ./start-all.sh

6.浏览器访问spark master默认地址:http://192.168.134.132:8080/

如果打不开网址:防火墙未关。

解决办法:

systemctl   stop   firewalld.service

打开效果图:

7.输入:jps

多了一个master和worker

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐