原文地址：http://blog.csdn.net/mach_learn/article/details/41824737?utm_source=tuicool&utm_medium=referral

1、本地运行出错及解决办法

当运行如下命令时：

 

[java]  view plain  copy
 
  1. ./bin/spark-submit \  
  2.   --class org.apache.spark.examples.mllib.JavaALS \  
  3.   --master local[*] \  
  4.   /opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-yarn/lib/spark-examples_2.10-1.0.0-cdh5.1.2.jar \  
  5.   /user/data/netflix_rating 10 10 /user/data/result  


会出现如下错误：

 

 

[java]  view plain  copy
 
  1. Exception in thread "main" java.lang.RuntimeException: java.io.IOException: No FileSystem for scheme: hdfs  
  2.         at org.apache.hadoop.mapred.JobConf.getWorkingDirectory(JobConf.java:657)  
  3.         at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:389)  
  4.         at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:362)  
  5.         at org.apache.spark.SparkContext$$anonfun$22.apply(SparkContext.scala:546)  
  6.         at org.apache.spark.SparkContext$$anonfun$22.apply(SparkContext.scala:546)  
  7.         at org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$1.apply(HadoopRDD.scala:145)  
  8.         at org.apache.spark.rdd.HadoopRDD$$anonfun$getJobConf$1.apply(HadoopRDD.scala:145)  
  9.         at scala.Option.map(Option.scala:145)  
  10.         at org.apache.spark.rdd.HadoopRDD.getJobConf(HadoopRDD.scala:145)  
  11.         at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:168)  
  12.         at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:204)  
  13.         at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:202)  
  14.         at scala.Option.getOrElse(Option.scala:120)  
  15.         at org.apache.spark.rdd.RDD.partitions(RDD.scala:202)  
  16.         at org.apache.spark.rdd.MappedRDD.getPartitions(MappedRDD.scala:28)  
  17.         at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:204)  
  18.         at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:202)  
  19.         at scala.Option.getOrElse(Option.scala:120)  
  20.         at org.apache.spark.rdd.RDD.partitions(RDD.scala:202)  
  21.         at org.apache.spark.rdd.MappedRDD.getPartitions(MappedRDD.scala:28)  
  22.         at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:204)  
  23.         at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:202)  
  24.         at scala.Option.getOrElse(Option.scala:120)  
  25.         at org.apache.spark.rdd.RDD.partitions(RDD.scala:202)  
  26.         at org.apache.spark.mllib.recommendation.ALS.run(ALS.scala:167)  
  27.         at org.apache.spark.mllib.recommendation.ALS$.train(ALS.scala:599)  
  28.         at org.apache.spark.mllib.recommendation.ALS.train(ALS.scala)  
  29.         at org.apache.spark.examples.mllib.JavaALS.main(JavaALS.java:80)  
  30.         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)  
  31.         at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)  
  32.         at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)  
  33.         at java.lang.reflect.Method.invoke(Method.java:597)  
  34.         at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:292)  
  35.         at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)  
  36.         at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)  
  37. Caused by: java.io.IOException: No FileSystem for scheme: hdfs  
  38.         at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2385)  
  39.         at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2392)  
  40.         at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)  
  41.         at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2431)  
  42.         at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2413)  
  43.         at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:368)  
  44.         at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:167)  
  45.         at org.apache.hadoop.mapred.JobConf.getWorkingDirectory(JobConf.java:653)  
  46.         ... 34 more  


出现此错误的原因为spark执行过程中缺少hadoop-hdfs的jar包，使用spark-submit中的--jar或者--driver-class-path参数可以解决此问题。当使用hadoop-hdfs时路径指的就是hdfs路径。

 

正确的执行方式如下：

 

[java]  view plain  copy
 
  1. ./bin/spark-submit \  
  2.   --class org.apache.spark.examples.mllib.JavaALS \  
  3.   --driver-class-path /opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-hdfs/hadoop-hdfs-2.3.0-cdh5.1.2.jar \  
  4.   --master local[*] \  
  5.   /opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-yarn/lib/spark-examples_2.10-1.0.0-cdh5.1.2.jar \  
  6.   /user/data/netflix_rating 10 10 /user/data/result  
  7. 或者  
  8. ./bin/spark-submit \  
  9.   --class org.apache.spark.examples.mllib.JavaALS \  
  10.   --jars /opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-hdfs/hadoop-hdfs-2.3.0-cdh5.1.2.jar \  
  11.   --master local[*] \  
  12.   /opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-yarn/lib/spark-examples_2.10-1.0.0-cdh5.1.2.jar \  
  13.   /user/data/netflix_rating 10 10 /user/data/result  

 

 

2、spark在yarn上运行错误及解决办法

当运行如下命令时：

 

[java]  view plain  copy
 
  1. ./bin/spark-submit \  
  2.   --class org.apache.spark.examples.mllib.JavaALS \  
  3.   --master yarn-cluster \  
  4.   /opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-yarn/lib/spark-examples_2.10-1.0.0-cdh5.1.2.jar \  
  5.   /user/data/netflix_rating 10 10 /user/data/result  


会出现如下错误：

 

 

[java]  view plain  copy
 
  1. Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/client/api/impl/YarnClientImpl  
  2.         at java.lang.ClassLoader.defineClass1(Native Method)  
  3.         at java.lang.ClassLoader.defineClassCond(ClassLoader.java:631)  
  4.         at java.lang.ClassLoader.defineClass(ClassLoader.java:615)  
  5.         at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:141)  
  6.         at java.net.URLClassLoader.defineClass(URLClassLoader.java:283)  
  7.         at java.net.URLClassLoader.access$000(URLClassLoader.java:58)  
  8.         at java.net.URLClassLoader$1.run(URLClassLoader.java:197)  
  9.         at java.security.AccessController.doPrivileged(Native Method)  
  10.         at java.net.URLClassLoader.findClass(URLClassLoader.java:190)  
  11.         at java.lang.ClassLoader.loadClass(ClassLoader.java:306)  
  12.         at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)  
  13.         at java.lang.ClassLoader.loadClass(ClassLoader.java:247)  
  14.         at java.lang.Class.forName0(Native Method)  
  15.         at java.lang.Class.forName(Class.java:247)  
  16.         at org.apache.spark.util.Utils$$anonfun$classIsLoadable$1.apply(Utils.scala:143)  
  17.         at org.apache.spark.util.Utils$$anonfun$classIsLoadable$1.apply(Utils.scala:143)  
  18.         at scala.util.Try$.apply(Try.scala:161)  
  19.         at org.apache.spark.util.Utils$.classIsLoadable(Utils.scala:143)  
  20.         at org.apache.spark.deploy.SparkSubmit$.createLaunchEnv(SparkSubmit.scala:158)  
  21.         at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:54)  
  22.         at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)  
  23. Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.client.api.impl.YarnClientImpl  
  24.         at java.net.URLClassLoader$1.run(URLClassLoader.java:202)  
  25.         at java.security.AccessController.doPrivileged(Native Method)  
  26.         at java.net.URLClassLoader.findClass(URLClassLoader.java:190)  
  27.         at java.lang.ClassLoader.loadClass(ClassLoader.java:306)  
  28.         at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)  
  29.         at java.lang.ClassLoader.loadClass(ClassLoader.java:247)  
  30.         ... 21 more  


产生此错误的原因是缺少hadoop-yarn目录下的jar包，解决此问题的方法只能使用--driver-class-path参数，原因是执行spark on yarn时，需要提前将hadoop-yarn目录下的jar包导入。

 

 

正确的执行方式如下：

 

[java]  view plain  copy
 
  1. ./bin/spark-submit \  
  2.   --class org.apache.spark.examples.mllib.JavaALS \  
  3.   --master yarn-cluster \  
  4.   --driver-class-path $(echo /opt/cloudera/parcels/CDH/lib/hadoop-yarn/*.jar |sed 's/ /:/g'):/opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-hdfs/hadoop-hdfs-2.3.0-cdh5.1.2.jar \  
  5.   /opt/cloudera/parcels/CDH-5.1.2-1.cdh5.1.2.p0.3/lib/hadoop-yarn/lib/spark-examples_2.10-1.0.0-cdh5.1.2.jar \  
  6.   /user/data/netflix_rating 10 10 /user/data/result  

 

 

执行结果集如下图所示

/user/data/result/productFeatures/part-00000数据格式为：

 

22,[5.561720883259194, 1.8295046510786157, 1.456597387276617, 0.8851233321058966, -0.6750794769961516, 0.2105431165110079, 1.868136268816477, -0.7426684616337039, -0.5856268982634872, 2.2788288132587358] 31,[0.9093801231293616, 0.31519780093777366, 1.1875509370524693, 0.40381375438624073, 2.518833489342341, 1.4242427194658087, 2.0950977044322574, 0.9012256614215569, 1.1604700989497398, 0.15791920617498328] 76,[1.8285525546730474, 0.6330058247735413, 2.5686801366906984, 1.4128062599776998, 1.401816974160943, 0.1596137900376602, 1.5625150218484072, -0.9678843308247949, 2.682242352514027, 1.0599465865866935] 152,[0.014905493368344078, 0.43308346940343456, 0.2351848253710811, 0.26220235713374834, 0.055210836978533295, 0.21723689234341548, 0.09391052568889097, 0.7231946368850907, 0.02497671848923523, 0.5022350772242716] 206,[-0.5501117679008718, 0.4105849318486638, 1.0876481291363873, 2.233025299808942, 2.1038565118723387, 1.662798954470802, 1.575332336431819, 0.8167712158963146, 1.4536436809654083, -0.5224582242822096]

/user/data/result/userFeatures/part-00000数据格式为：

 

 

22,[0.18595332423070562, 0.26223861694267697, 0.2220917583718615, 0.015729079507204886, 0.4450456773474982, 0.12287125816024044, 0.4644319181495295, 0.38377345920108646, 0.28428991637647794, 0.17875507467819415] 31,[0.15133710263843259, -0.02354886937021699, 0.10618787396390789, 0.03258147800653979, 0.3556889855610244, 1.021110467423965, 0.3701959855785832, 0.1524124835894395, 0.23381646690418442, -0.012011907243505829] 76,[0.2344438657777155, 0.03821305024729112, 0.230093903321136, 0.48888224387617607, 0.30121869825786685, 0.48198504753122795, 0.29543641416718835, 0.39299434584620146, 0.27798068299013984, 0.15611605797193095] 121,[0.2038917971256244, 0.7576071991072084, 0.30603993855416245, 0.41995044224403344, 0.06550681386608997, 0.20395370870960078, 0.3444359097858106, 0.4935457123179016, 0.2041119263872145, 0.3518582534508109] 130,[0.042995762604581524, -0.21177745644812881, 0.7047019111940551, 0.44978429350262916, 0.18912686527984246, 0.6349887274906566, 0.29651737861710675, 0.49758500548973844, 0.02699514514764544, 0.39330900998421187] 152,[1.9989336762046868, 1.2185456627280438, -0.14465791504370654, 0.32972894935630664, -0.6316151112173617, -0.5568528040594881, 0.007477525352213408, -0.012087520291972442, 0.4184613236246099, -0.24669307203702268]

 

 

3、对于Spark on Hadoop执行中出行的问题需要去hadoop yarn对应的job日志中去看

转载于:https://www.cnblogs.com/niujiaodian/p/5716945.html

# java # scala # 大数据
Logo
腾讯云开发者社区

腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。

更多推荐

Elasticsearch复杂数据类型终极指南：从入门到精通

Elasticsearch作为功能强大的搜索引擎，支持多种复杂数据类型，让开发者能够灵活处理各种结构化和非结构化数据。本文将带你全面了解Elasticsearch中的复杂数据类型，从基础概念到实际应用，助你轻松掌握数据建模的核心技巧。## 内部对象：构建层级化数据结构在Elasticsearch中，对象类型（Object）是最基础的复杂数据类型之一，用于表示具有嵌套关系的数据。例如，我们可

avatar 腾讯云开发者社区

终极指南：Flink SQL连接器版本管理从混乱到有序的升级之路

Apache Flink作为流处理领域的佼佼者，其SQL连接器的版本管理一直是开发者面临的核心挑战。本文将系统讲解Flink SQL连接器版本管理的最佳实践，帮助你轻松应对版本兼容性问题，实现从混乱到有序的升级之旅。## 连接器版本管理的常见痛点 😫在Flink应用开发中，连接器版本管理常常让开发者头疼不已。不同版本的连接器可能导致各种兼容性问题，例如API变更、功能差异甚至运行时错误。

avatar 腾讯云开发者社区

如何快速搭建Neon无服务器PostgreSQL：面向初学者的完整指南

Neon是一款革命性的无服务器PostgreSQL解决方案，它通过分离存储和计算层，实现了自动扩缩容、类代码式数据库分支以及零级扩展能力。本指南将帮助你从零开始搭建Neon开发环境，体验这款创新数据库的强大功能。## 准备工作：环境要求与依赖项在开始搭建Neon环境前，请确保你的系统满足以下要求：- Linux操作系统（推荐Ubuntu 20.04+或Debian 11+）- Git

avatar 腾讯云开发者社区