在IDAL下面读取本地文件,可以使用绝对路径也可以使用相对路径

一,直接路径的表达:

val path2 ="E:\\data\\TEST1.txt"
val data = sc.textFile(path2)
data.foreach(println)

直接将文件的绝对路径放在某个变量中,然后再使用textFile()读取里面的内容

但是一般开发都采用这种方法吧

二,相对路径

在使用maven创建的项目中,在编译时会在项目下生成target文件夹,其下面的class文件夹里面生成src->main中的数据如resources中的文件或者是scala文件夹下面的.scala文件的“倒影”。

所以寻找文件的相对位置时,要先找到target这个目录下的地址,然后再找具体的文件。

下面这三条语句都能找到这个地址:

val resource1: URL = Test.getClass.getClassLoader.getResource("")
    val resource2: URL = MyRouteMain.getClass.getResource("")
    val resource3: URL = MyRouteMain.getClass.getResource("/")
    println("resource1 => " + resource1)
    println("resource2 => " + resource2)
    println("resource3 => " + resource3)

打印结果如下:

resource1 => file:/E:/mycode/Spark/mylearn/target/classes/
resource2 => file:/E:/mycode/Spark/mylearn/target/classes/org/
resource3 => file:/E:/mycode/Spark/mylearn/target/classes/

可见第一、三条语句寻找的是文件class的地址,第二条语句具体的class所在的文件夹地址。然后通过:

val path3 = resource1+"data/hello.txt"
val data = sc.textFile(path3)
data.foreach(println)

来输出文件中的内容。


Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐