pyspark 基础中文教程

点击???? 链接
Pyspark 中文教程

1. 连接spark

1.1. 简单连接spark

Python
from <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/pyspark" title="View all posts in pyspark" target="_blank">pyspark</a></span>.sql import SparkSession <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/spark" title="View all posts in spark" target="_blank">spark</a></span>=SparkSession \ .builder \ .appName('my_first_app_name') \ .getOrCreate()
1
2
3
4
5
6
7
from pyspark . sql import SparkSession
 
spark = SparkSession \
         . builder \
         . appName ( 'my_first_app_name' ) \
         . getOrCreate ( )
 

1.2. 连接spark集群

Python
# 使支持hive spark = SparkSession \ .builder \ .enableHiveSupport() \ .master("xxx.xxx.xxx.xxx:7077") \ .appName("my_first_app_name") \ .getOrCreate()
1
2
3
4
5
6
7
8
# 使支持hive
spark = SparkSession \
         . builder \
         . enableHiveSupport ( ) \
         . master ( "xxx.xxx.xxx.xxx:7077" ) \
         . appName ( "my_first_app_name" ) \
         . getOrCreate ( )
 

1.3. 集群python环境

如果需要在集群中使用指定的python版本（系统默认是2.6），如python3.5，那么就需要在每个节点都安装python3.5，而且将python3.5的目录增加到spark的环境变量中。

或者在python程序中指定也行。

Python
import os os.environ['SPARK_HOME'] = '/usr/local/workspace/spark-2.1.0-bin-hadoop2.7' os.environ['PYSPARK_PYTHON'] = '/usr/local/bin/python3.5' os.environ['PYSPARK_DRIVER_PYTHON']='python3' from pyspark.sql import SparkSession spark = SparkSession\ .builder\ .enableHiveSupport()\ .master("xxx.xxx.xxx.xxx:7077")\ .appName("my_first_app_name")\ .getOrCreate()
1
2
3
4
5
6
7
8
9
10
11
12
13
import os
os . environ [ 'SPARK_HOME' ] = '/usr/local/workspace/spark-2.1.0-bin-hadoop2.7'
os . environ [ 'PYSPARK_PYTHON' ] = '/usr/local/bin/python3.5'
os . environ [ 'PYSPARK_DRIVER_PYTHON' ] = 'python3'
 
from pyspark . sql import SparkSession
spark = SparkSession \
         . builder \
         . enableHiveSupport ( ) \
         . master ( "xxx.xxx.xxx.xxx:7077" ) \
         . appName ( "my_first_app_name" ) \
         . getOrCreate ( )
 

1.4. config参数

Python
# 在连接spark的时候，还可以添加其他参数，用config from pyspark.sql import SparkSession spark = SparkSession\ .builder\ .enableHiveSupport()\ .master("xxx.xxx.xxx.xxx:7077")\ .appName("my_first_app_name")\ .config('spark.some.config.option','value') \ .config('spark.some.config.option','value') \ ... .getOrCreate()
1
2
3
4
5
6
7
8
9
10
11
12
# 在连接spark的时候，还可以添加其他参数，用config
from pyspark . sql import SparkSession
spark = SparkSession \
         . builder \
         . enableHiveSupport ( ) \
         . master ( "xxx.xxx.xxx.xxx:7077" ) \
         . appName ( "my_first_app_name" ) \
         . config ( 'spark.some.config.option' , 'value' ) \
         . config ( 'spark.some.config.option' , 'value' ) \
         . . .
         . getOrCreate ( )
 

2. 提交作业

提交作业可以通过上面的方法，先连接spark，然后使用spark session做各种操作。另一种就是通过submit方式将.py文件提交到spark集群。

特别的，如果使用python虚拟环境，可以通过
PYSPARK_DRIVER_PYTHON，PYSPARK_PYTHON 指定。

Python
# 提交spark作业 PYSPARK_DRIVER_PYTHON=/opt/anaconda3/envs/xxljob/bin/python \ PYSPARK_PYTHON=/opt/anaconda3/envs/xxljob/bin/python \ /usr/local/workspace/spark-2.1.0-bin-hadoop2.7/bin/spark-submit \ --master yarn \ #也可以是 yarn-client，yarn-cluster --queue ai \ --num-executors 12 \ --driver-memory 30g \ --executor-cores 4 \ --executor-memory 32G /tmp/test_spark.py
1
2
3
4
5
6
7
8
9
10
11
12
13
# 提交spark作业
PYSPARK_DRIVER_PYTHON = / opt / anaconda3 / envs / xxljob / bin / python \
PYSPARK_PYTHON = / opt / anaconda3 / envs / xxljob / bin / python \
 
/ usr / local / workspace / spark - 2.1.0 - bin - hadoop2 . 7 / bin / spark - submit \
         -- master yarn \      #也可以是  yarn-client，yarn-cluster
         -- queue ai \
         -- num - executors 12 \
         -- driver - memory 30g \
         -- executor - cores 4 \
         -- executor - memory 32G
/ tmp / test_spark . py
 



  • zeropython 微信公众号 5868037 QQ号 5868037@qq.com QQ邮箱
Logo
腾讯云开发者社区

腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。

更多推荐

Elasticsearch复杂数据类型终极指南：从入门到精通

Elasticsearch作为功能强大的搜索引擎，支持多种复杂数据类型，让开发者能够灵活处理各种结构化和非结构化数据。本文将带你全面了解Elasticsearch中的复杂数据类型，从基础概念到实际应用，助你轻松掌握数据建模的核心技巧。## 内部对象：构建层级化数据结构在Elasticsearch中，对象类型（Object）是最基础的复杂数据类型之一，用于表示具有嵌套关系的数据。例如，我们可

avatar 腾讯云开发者社区

终极指南：Flink SQL连接器版本管理从混乱到有序的升级之路

Apache Flink作为流处理领域的佼佼者，其SQL连接器的版本管理一直是开发者面临的核心挑战。本文将系统讲解Flink SQL连接器版本管理的最佳实践，帮助你轻松应对版本兼容性问题，实现从混乱到有序的升级之旅。## 连接器版本管理的常见痛点 😫在Flink应用开发中，连接器版本管理常常让开发者头疼不已。不同版本的连接器可能导致各种兼容性问题，例如API变更、功能差异甚至运行时错误。

avatar 腾讯云开发者社区

如何快速搭建Neon无服务器PostgreSQL：面向初学者的完整指南

Neon是一款革命性的无服务器PostgreSQL解决方案，它通过分离存储和计算层，实现了自动扩缩容、类代码式数据库分支以及零级扩展能力。本指南将帮助你从零开始搭建Neon开发环境，体验这款创新数据库的强大功能。## 准备工作：环境要求与依赖项在开始搭建Neon环境前，请确保你的系统满足以下要求：- Linux操作系统（推荐Ubuntu 20.04+或Debian 11+）- Git

avatar 腾讯云开发者社区