1. 解压Spark压缩包到D盘,如下图所示:

2.在环境变量中配置SPARK_HOME,如下图所示:

SPARK_HOME

自己的路径
D:\axc\spark-2.4.6-bin-hadoop2.7

在这里插入图片描述

3.把SPARK_HOME 设置为python的exe文件

PYSPARK_PYTHON

自己的路径
C:\Users\wyj\AppData\Local\Programs\Python\Python37\python.exe

在这里插入图片描述

4. 复制spark下的pyspark目录到python安装目录下的lib目录,如下图所示:

在这里插入图片描述

5. 通过cmd执行pip install py4j命令安装py4j,py4j是一个在python中调用java代码的第三方库。效果如下图所示:

在这里插入图片描述

6.在D盘创建spark目录,存储我们的spark代码。

7.打开vscode,打开问哦们创建的存放spark代码的文件夹

8.在VsCode中创建0-TestSpark.py文件,填入以下内容:

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("WordCount").getOrCreate()
spark.sparkContext.textFile("file:///D:/spark-2.4.6-bin-hadoop2.7/README.md")\
        .flatMap(lambda x: x.split(' '))\
        .map(lambda x: (x, 1))\
        .reduceByKey(lambda x, y: x + y)\
        .foreach(print)

9.运行该python程序,对README.md文件做wordcount,效果如下图所示:

在这里插入图片描述

10.到这里我们配置就完成了,之后只要去写py文件就好,不用启动spark集群

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐