采用yarn方式启动spark-thriftserver
采用yarn方式启动spark-thriftserver
·
采用yarn方式启动spark-thriftserver
1、修改spark-env.sh配置文件
export HADOOP_CONF_DIR=/usr/local/src/app/hadoop-2.6.0-cdh5.16.2/etc/hadoop
export SPARK_HISTORY_OPTS="-Dspark.history.port=18080 -Dspark.history.fs.logDirectory=hdfs://hadoop001:8020/sparkHistoryLog -Dspark.history.retainedApplication=30"
2、修改spark-defaults.conf配置文件
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoop001:8020/sparkHistoryLog
spark.yarn.historyServer.address=hadoop001:18080
spark.history.ui.port=18080
3、启动thriftserver
sh ./start-thriftserver.sh --master yarn
4、查看是否启动
5、采用beeline客户端访问
../bin/beeline -u jdbc:hive2://hadoop001:10000 -n hive -phive
6、当然通过3中直接启动,直接启动thriftserver这种方式,操作的数据只是在缓存中生成了,如果想要保存起来,就需要用到hive将元数据保存起来,接下来使用 mysql保存元数据
7、下载hive-1.1.0-cdh5.16.2 后面会将使用到的软件贴出来,编辑hive-site.xml.
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://IP:3306/hadoop_hivedb?createDatabaseIfNotExist=true&useSSL=false&serverTimezone=UTC&useUnicode=true&characterEncoding=UTF-8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>xxxx</value>
</property>
8、需要将mysql驱动包放入lib目录
9、初始化数据库信息
schematool -dbType mysql -initSchema
10、采用后台启动方式启动元数据服务
nohup hive --service metastore &
查看是否启动成功
11、官方文档关于这部分的说明:将一下配置文件拷贝到spark conf中
Configuration of Hive is done by placing your hive-site.xml, core-site.xml and hdfs-site.xml files in conf/.
12、将mysql驱动拷贝到spark 的 jars文件夹中
14、执行如下命令启动
./start-thriftserver.sh --master yarn
15、访问
../bin/beeline -u jdbc:hive2://hadoop001:10000 -n root -phive
注意:如果遇到 权限问题可以参考一下连接
https://www.cnblogs.com/chenxiaoge/p/13335437.html
16、最后附上yarn截图
更多推荐
已为社区贡献5条内容
所有评论(0)