hadoop jar执行报错java.io.FileNotFoundException: /tmp/hadoop-unjarxxx(No space left on device)终极解决方案

原因MapReduce提交过程中，会把jar解压到/tmp目录下生成临时文件夹hadoop-unjarxxx，任务执行完成后，会主动删除这个临时目录hadoop-unjarxxx, 但是我们偶尔会遇到一些情况，导致hadoop任务异常结束，没有清理掉这个任务的临时目录，临时文件就会越来越多了。可能导致/tmp磁盘空间不足或者inode索引不足导致报错，因此使用下面命令查找错误，查看使用率df -h

lishengping_max

3081人浏览 · 2020-06-01 15:00:42

lishengping_max · 2020-06-01 15:00:42 发布

原因

MapReduce提交过程中，会把jar解压到/tmp目录下生成临时文件夹hadoop-unjarxxx，任务执行完成后，会主动删除这个临时目录hadoop-unjarxxx, 但是我们偶尔会遇到一些情况，导致hadoop任务异常结束，没有清理掉这个任务的临时目录，临时文件就会越来越多了。
可能导致/tmp磁盘空间不足或者inode索引不足导致报错，因此使用下面命令查找错误，查看使用率

df -h  查看磁盘
df -i 查看inode

解决

思路就是降低jar包大小并定时清除/tmp/hadoop-unjarxxx过期文件夹

方案一、将依赖包提前上传至HDFS，适用于编程代码中设置
1.将依赖jar包上传至hdfs目录，如/app/hive/libs/
2.job.addFileToClassPath添加所有依赖

Configuration conf = new Configuration();
Job job = Job.getInstance(conf);
...
...
...
String depJarPath = "/app/hive/libs/";
String depJarNames = "orc-mapreduce-1.2.1.jar:orc-core-1.2.1.jar:hive-storage-api-2.1.1-pre-orc.jar:aircompressor-0.3.jar";
for(String depJarName : depJarNames.split(":")){
   job.addFileToClassPath(new Path(depJarPath + depJarName))
}

3.定时任务清除/tmp/hadoop-unjarxxx过期文件夹，这个可用shell或者py实现，目前还没弄，后面会贴上代码

方案二、设置HADOOP_CLASSPATH环境变量（适用于代码无法设置，不太推荐）
本人采用的方案二，因为使用的Sqoop java api提交任务，无法拿到job对象，也就无法使用方案一
1.本人使用的shade打包方式，可以有选择性的排除依赖，使用provided配置，我将hadoop、hive、sqoop相关依赖都排除，jar由130M+减小到10M，配置参考如下

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
            <scope>provided</scope>
        </dependency>

2.编写start.sh脚本，将排除的hadoop相关依赖路径添加到HADOOP_CLASSPATH环境变量，如下：

#!/bin/bash
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/cloudera/parcels/CDH/lib/hive/lib/*:/opt/cloudera/parcels/CDH/lib/sqoop/sqoop-1.4.6-cdh5.15.2.jar:/opt/cloudera/parcels/CDH/lib/sqoop/lib/*
hadoop jar xxx.jar mainClass

当然也可以简单打包jar，将集群不存在的依赖上传到提交任务机器上，然后在HADOOP_CLASSPATH添加路径，这样jar就可以减少到最小

3.定时任务清除/tmp/hadoop-unjarxxx过期文件夹，这个可用shell或者py实现，目前还没弄，后面会贴上代码