1、在非kerberos认证的集群中

 distcp hdfs://IP:8020/xxx   hdfs://IP:8020/xxx/

2、在kerberos与非kerberos集群中

配置core-site.xml 需降低安全配置;

      <property>
          <name>ipc.client.fallback-to-simple-auth-allowed</name>
          <value>true</value>
      </property>

重启集群
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://xxx:50070/user/hive/warehouse/xxx  /user/hive/warehouse/xxx/

其中50070端口为namenode web UI端口

3、在kerberos与kerberos集群中

需要配置kerberos认证,我这边暂时没用,直接将数据导入本地,scp传输

参考:https://blog.csdn.net/fjssharpsword/article/details/62217641

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐