DS:ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException错误
当我们使用dolphinscheduler(DS)调度工具,将mysql的数据增量导入至hive中的时候,可能会报出以下错误或这样的错误。
报错显示:
当我们使用dolphinscheduler(DS)调度工具,将mysql的数据增量导入至hive中的时候,
可能会报出以下错误
或这样的错误
解决办法:
这个错误其实也很好解决,其中
这个错误有两种解决办法:
第一种解决办法
只需要将红框中的路径中的QueryResule.jar包 复制至 sqoop的lib目录下即
第二种解决办法
不但可以解决上面的问题,而且可以解决最上面错误显示中的另一个问题
上述错误的原因其实就是hadoop的路径不匹配,系统找不到(不认识)我们脚本中本来就写好的路径
进入我们的dolphinscheduler /bin/env 下 找到红框中的env.sh文件 修改即可
export HADOOP_HOME=/opt/installs/hadoop
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
export SQOOP_HOME=/opt/installs/sqoop
export
PATH=$SQOOP_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:$PATH
以上是我的路径,设置成自己的路径即可,问题全部解决!
更多推荐
所有评论(0)