利用flume进行hive日志数据收集上传hdfs时,报错,错误信息为:

HDFS IO error
java.io.IOException: Failed on local exception: org.apache.hadoop.ipc.RpcException: RPC response exceeds maximum data length; Host Details : local host is: "hadoop102/192.168.10.102"; destination host is: "hadoop102":9870;

分析原因在于配置文件中端口写错了,应该写8020端口

修改后果然成功在hadoop102:9870页面创建flume文件夹成功,写入日志文件

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐