sqoop 从mysql导出数据到hive datetime类型后多了个'.0' 的问题解决
sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \--connect jdbc:mysql://www.baidu.com/shagou \--username root\--password 1234556 \--hive-database stg\--hive-import\--wareh...
·
sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:mysql://www.baidu.com/shagou \
--username root\
--password 1234556 \
--hive-database stg \
--hive-import \
--warehouse-dir /user/hdfs/yuantutmp \
--hive-overwrite \
--delete-target-dir \
--hive-drop-import-delims \
--null-string '\\N' \
--null-non-string '\\N' \
--table depts \
--hive-table stg_plan_depts
sqoop从mysql导入数据到hive里面,时间是datetime的后面会多加个.0
导入后查看数据如下:
解决方案如下
在sqoop参数下面添加一个强制转换的参数,如有多个,加逗号。
--map-column-hive "gmt_create=timestamp,gmt_modify=timestamp"
具体如下:
sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:mysql://www.baidu.com/shagou \
--username root\
--password 1234556 \
--hive-database stg \
--hive-import \
--warehouse-dir /user/hdfs/yuantutmp \
--hive-overwrite \
--delete-target-dir \
--hive-drop-import-delims \
--null-string '\\N' \
--null-non-string '\\N' \
--table depts \
--map-column-hive "gmt_create=timestamp,gmt_modify=timestamp" \
--hive-table stg_plan_depts \
效果如下:
注意:如果已经同步过得表,想要解决这个问题需要把hive下的这个表删掉才可以生效。否则不生效
更多推荐
已为社区贡献1条内容
所有评论(0)