文章地址:http://www.haha174.top/article/details/253943
首先需要安装jdk 不会可以参考这里(http://www.haha174.top/article/details/259178
安装scala(懒得写了 不会的话 自行百度)
安装 hadoop(http://www.haha174.top/article/details/258782

这里使用的是最新版spark 下载地址(http://spark.apache.org/releases/spark-release-2-2-1.html

tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz
cd  spark-2.2.1-bin-hadoop2.7/conf
cp  slaves.template slaves
vi slaves   
    spark1
    spark2
    spark3
vi spark-env.sh.template spark-env.sh
    export JAVA_HOME=/apps/adf/java/jdk1.8.0_121
    export SCALA_HOME=/scala/scala-2.12.4
    export SPARK_WORKER_MEMORY=1g
    export HADOOP_CONF_DIR=/hadoop/hadoop-2.9.0/etc/hadoop
    export SPARK_MASTER_IP=192.168.1.221
    export SPARK_MASTER_HOST=192.168.1.221
    export SPARK_LOCAL_IP=192.168.1.221
    export SPARK_WORKER_MEMORY=1g
    export SPARK_WORKER_CORES=2

这样spark1 就配置好了
相同的方式配置spark2
spark3

注意这个要改成
export SPARK_LOCAL_IP=192.168.1.221(当前地址)

在master 节点sbin 目录下执行 start-all.sh
jps 查看 master

14274 Master
14354 Worker

查看slave
4145 Worker

或者通过spark1:8080 查看
这里写图片描述

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐