hadoop集群传输(kerberos、非kerberos、kerberos与非kerbers)
1、在非kerberos认证的集群中distcp hdfs://IP:8020/xxx hdfs://IP:8020/xxx/2、在kerberos与非kerberos集群中配置core-site.xml 需降低安全配置;<property><name>ipc.client.fallback-to-simple-auth-allowed</name><va
1、在非kerberos认证的集群中
distcp hdfs://IP:8020/xxx hdfs://IP:8020/xxx/
2、在kerberos与非kerberos集群中
配置core-site.xml 需降低安全配置;
<property>
<name>ipc.client.fallback-to-simple-auth-allowed</name>
<value>true</value>
</property>
重启集群
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true webhdfs://xxx:50070/user/hive/warehouse/xxx /user/hive/warehouse/xxx/
其中50070端口为namenode web UI端口
3、在kerberos与kerberos集群中
需要配置kerberos认证,我这边暂时没用,直接将数据导入本地,scp传输
参考:https://blog.csdn.net/fjssharpsword/article/details/62217641
更多推荐
所有评论(0)