一. sqoop官网

https://sqoop.apache.org/

二. sqoop安装

2.1 上传sqoop包

2.2 解压

2.3 配置环境变量

2.4 修改sqoop配置文件

2.5 上传mysql连接的jar包

2.6 检查sqoop是否成功

2.6.1 检查能否连接hive

sqoop version

2.6.2 检查能否连接mysql

sqoop help
sqoop list-databases --connect jdbc:mysql://node01:3306 --username root --password root

2.7 导出mysql数据到HDFS、Hive、HBase

https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_selecting_the_data_to_import

2.7.1 通过命令行方式

# 连接数据库,纯文本,字段,删除目标目录,1个map,表明,hdfs目录
sqoop import --connect jdbc:mysql://node01:3306/result_db --username root --password root --as-textfile --columns id,browser_name --delete-target-dir -m 1 --table dimension_browser --target-dir /sqoop

2.7.2 通过options文件传递参数

https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_using_options_files_to_pass_arguments

vi options
sqoop --options-file options

2.7.3 通过sql查询数据库,然后导入到hdfs

注意: 只要写sql,就必须加 $CONDITIONS

2.7.4 将mysql数据导入到Hive

option3

分隔符不成功，去掉input，导入不加input，导出才加input

2.7.5 将mysql数据导入到HBase

运行不成功：因为不同版本的HBase的api差异比较大，所以需要升级sqoop版本或者降低HBase版本；

2.8 将HDFS、Hive、HBase数据导入到mysql

https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_literal_sqoop_export_literal

2.8.1 导出HDFS到mysql

如果不是自己配置的分隔符，可以用\001，默认分隔符