spark覆写原文件夹文件报错FileAlreadyExistsException
如果在 Spark 中使用 saveAsTextFile() 方法将 RDD 保存到本地文件系统或 Hadoop 分布式文件系统 (HDFS) 时，如果文件已经存在，则会抛出 FileAlreadyExistsException 异常。为了解决这个问题，您可以使用 overwrite 参数来强制 Spark 覆盖现有文件。例如：rdd.saveAsTextFile("/path/to/outp..
·
如果在 Spark 中使用 saveAsTextFile() 方法将 RDD 保存到本地文件系统或 Hadoop 分布式文件系统 (HDFS) 时，如果文件已经存在，则会抛出 FileAlreadyExistsException 异常。
为了解决这个问题，您可以使用 overwrite 参数来强制 Spark 覆盖现有文件。例如：
rdd.saveAsTextFile("/path/to/output", overwrite=True)
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
0
0- 0
已为社区贡献16条内容
所有评论(0)