sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:mysql://www.baidu.com/shagou \
--username root\
--password 1234556 \
--hive-database stg  \
--hive-import  \
--warehouse-dir /user/hdfs/yuantutmp  \
--hive-overwrite \
--delete-target-dir \
--hive-drop-import-delims \
 --null-string '\\N' \
--null-non-string '\\N' \
 --table depts \
--hive-table stg_plan_depts

sqoop从mysql导入数据到hive里面,时间是datetime的后面会多加个.0

导入后查看数据如下:

解决方案如下

在sqoop参数下面添加一个强制转换的参数,如有多个,加逗号。

--map-column-hive "gmt_create=timestamp,gmt_modify=timestamp"

具体如下:

sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:mysql://www.baidu.com/shagou \
--username root\
--password 1234556 \
--hive-database stg  \
--hive-import  \
--warehouse-dir /user/hdfs/yuantutmp  \
--hive-overwrite \
--delete-target-dir \
--hive-drop-import-delims \
 --null-string '\\N' \
--null-non-string '\\N' \
 --table depts \
--map-column-hive "gmt_create=timestamp,gmt_modify=timestamp" \
--hive-table stg_plan_depts \

效果如下:

注意:如果已经同步过得表,想要解决这个问题需要把hive下的这个表删掉才可以生效。否则不生效

Logo

腾讯云面向开发者汇聚海量精品云计算使用和开发经验,营造开放的云计算技术生态圈。

更多推荐