【错误处理】hadoop hdfs 读写错误解决：java.io.IOException: Filesystem closed
报错信息：java.io.IOException: Filesystem closed参考：https://blog.csdn.net/posa88/article/details/41018031?utm_source=blogxgwz7参考：https://blog.csdn.net/qiumengkai/article/details/48682143?utm_source=blo...
报错信息：java.io.IOException: Filesystem closed参考：https://blog.csdn.net/posa88/article/details/41018031?utm_source=blogxgwz7
参考：https://blog.csdn.net/qiumengkai/article/details/48682143?utm_source=blogxgwz1
参数fs.hdfs.impl.disable.cache默认为false，于是这个conf被Cache，导致在方法外的FileSystem closed，设置为true即可。
另外FileSystem的创建方式也应当改为：
FileSystem = FileSystem.newInstance(URI.create(hdfsURI), new Configuration());
附：hadoop hdfs文件系统对象FileSystem get和newInstance区别
参考：http://itxw.net/article/140.html
get方法不是每次都创建FileSystem对象，会从缓存中获取FileSystem对象，而newInstance方法则会每次都创建新对象。所以在使用该对象的API编程时，推荐使用get方法。
注意：用get不能close,否则多线程报错(所以我用static)，而用newInstance必须每次close。
腾讯云面向开发者汇聚海量精品云计算使用和开发经验，营造开放的云计算技术生态圈。
更多推荐
1
0- 0
已为社区贡献2条内容
所有评论(0)