一、Mysql与HDFS互导数据

环境:

宿主机器操作系统为Win7,Mysql安装在宿主机上,宿主机地址为192.168.66.96

3台虚拟机操作系统为Ubuntu-12.04.1-32位

三台虚拟机已成功安装Hadoop,并实现免密钥互访,配hosts为:

192.168.66.91 masternode

192.168.66.92 slavenode1

192.168.66.93 slavenode2

/etc/profile已配置好必备环境变量HADOOP_HOME,JAVA_HOME

实验在masternode上进行,已成功连接mysql

步骤一,下载安装包:

我安装的Hadoop版本是原生hadoop-0.20.203.0,SQOOP不支持此版本,可使用CDH3版本hadoop,也可以通过拷贝相应的包到sqoop-1.2.0-CDH3B4/lib下,依然可以使用。

下载相关文件:

http://archive.cloudera.com/cdh/3/hadoop-0.20.2-CDH3B4.tar.gz

http://archive.cloudera.com/cdh/3/sqoop-1.2.0-CDH3B4.tar.gz

sqoop-1.2.0-CDH3B4依赖hadoop-core-0.20.2-CDH3B4.jar,所以你需要下载hadoop- 0.20.2-CDH3B4.tar.gz,解压缩后将hadoop-0.20.2-CDH3B4/hadoop-core-0.20.2- CDH3B4.jar复制到sqoop-1.2.0-CDH3B4/lib中。

另外,sqoop导入mysql数据运行过程中依赖mysql-connector-java-*.jar,所以你需要下载mysql-connector-java-*.jar并复制到sqoop-1.2.0-CDH3B4/lib中。

步骤二,相关配置:

修改SQOOP的文件configure-sqoop,注释掉hbase和zookeeper检查(除非你准备使用HABASE等HADOOP上的组件) #if [ ! -d "${HBASE_HOME}" ]; then

# echo “Error: $HBASE_HOME does not exist!”

# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’

# exit 1

#fi

#if [ ! -d "${ZOOKEEPER_HOME}" ]; then

# echo “Error: $ZOOKEEPER_HOME does not exist!”

# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’

# exit 1

#fi

修改/etc/profile环境变量文件(su root之后,sudo gedit /etc/profile):

添加 export SQOOP_HOME=/home/grid/sqoop

在原有PATH后添加 :$SQOOP_HOME/bin

步骤三,在mysql中建立测试用户,测试表和数据,并测试sqoop连接mysql:

创建用户sqoop并授权:

grant all privileges on *.* to 'sqoop'@'%' identified by 'sqoop' with grant option;

创建表空间(schema)sqoop,并创建测试表:

create table students (

id int not null primary key,

name varchar(20),

age int)

插入测试数据:

insert into students values('10001','liyang',29);

insert into students values('10002','lion',28);

insert into students values('10003','leon',26);

在masternode测试sqoop能否成功连接宿主机器上的mysql:

sqoop list-tables --connect jdbc:mysql://192.168.66.96:3306/sqoop --username sqoop --password sqoop

如果能正确显示出sqoop表空间中的students表,就说明sqoop已经可以成功连接mysql!

步骤四,将mysql中sqoop表空间的students表的三行数据导入HDFS:

启动hadoop:

start-all.sh

用jps验证启动是否成功

显示正在运行以下进程即为启动成功:

2820 SecondaryNameNode

4539 Jps

2887 JobTracker

2595 NameNode

从mysql导入数据,运行如下命令:

sqoop import --connect jdbc:mysql://192.168.66.96:3306/sqoop --username sqoop --passwordsqoop --table students -m 1

验证导入数据是否成功:

若导入成功,运行 hadoop dfs -ls 将能看到根目录/user/grid/下有以表名命名的文件夹students

运行 hadoop dfs -ls /user/grid/students 能看到该文件夹中包含文件:/user/grid/students/part-m-00000

运行 hadoop dfs -cat /user/grid/students/part-m-00000 就能看到该文件已经包含mysql中students表的三行数据:

10001,liyang,29

10002,lion,28

10003,leon,26

步骤五,将HDFS中的数据导入Mysql的students表中:

首先将mysql的students表数据清空:

delete from students;

然后在masternode上执行导出数据命令:

1.[root@sdzn-cdh01 hive]# sqoop export --connect jdbc:mysql://192.168.0.197:3306/dac  --username root --password root --table provice_age_group_total  --export-dir 'hdfs://sdzn-cdh01:8020/user/hive/warehouse/zyb.db/provice_age_group_total/000000_0'   --fields-terminated-by '\001' -m 1

2.[root@sdzn-cdh01 hive]# sqoop export --connect jdbc:mysql://192.168.200.47:3306/test --username root --password root --table user_02  --export-dir 'hdfs://sdzn-cdh01:8020/sdzn_yhhx/user0/i' --fields-terminated-by '\t' -m 1

3.[root@sdzn-cdh01 etc]# sqoop export --connect "jdbc:mysql://192.168.0.197:3306/otherdb?useUnicode=true&characterEncoding=utf-8"  --username root --password root --table tourist_playnum  --export-dir '/user/hive/warehouse/zyb.db/tourist_tournums/'   --input-null-string "\\\\N" --input-null-non-string "\\\\N" --input-fields-terminated-by "\001" --input-lines-terminated-by "\\n" -m 1

二、Mysql与Hbase互导数据

将mysql的数据导入hbase的命令格式为:

sqoop import --connect jdbc:mysql://mysqlserver_IP/databaseName --username --password password --table datatable --hbase-create-table --hbase-table hbase_tablename --column-family col_fam_name --hbase-row-key key_col_name

其中 ,databaseName 和datatable 是mysql的数据库和表名,hbase_tablename是要导成hbase的表名,key_col_name可以指定datatable中哪一列作为hbase新表的rowkey,col_fam_name是除rowkey之外的所有列的列族名

例如:可通过如下命令将Mysql中的students表导入到Hbase中:

/home/grid/sqoop/bin/sqoop import --connect jdbc:mysql://192.168.66.96/sqoop --username sqoop --password liyang16 --table students --hbase-create-table --hbase-table students --column-family stuinfo --hbase-row-key id

成功执行后,可在hbase中用以下命令查看结果:

hbase(main):011:0> scan 'students'

ROW COLUMN+CELL

10001 column=stuinfo:age, timestamp=1356759994058, value=29

10001 column=stuinfo:name, timestamp=1356759994058, value=liyang

10002 column=stuinfo:age, timestamp=1356760044478, value=28

10002 column=stuinfo:name, timestamp=1356760044478, value=lion

10003 column=stuinfo:age, timestamp=1356760044478, value=26

10003 column=stuinfo:name, timestamp=1356760044478, value=leon

3 row(s) in 0.0900 seconds

三、Oracle与Hbase互导数据

将Oracle中的dept表(列为id,name,addr)导出至hbase中的dept表(行键为id,列族为deptinfo)

sqoop import --append --connect jdbc:oracle:thin:@192.168.66.90:1521:orcl --username test --password test --m 1 --table dept --columns id,name,addr --hbase-create-table --hbase-table dept --hbase-row-key id --column-family deptinfo
四、Oracle数据导入到HDFS
./sqoop import --append --connect jdbc:oracle:thin:@192.168.0.197:1521:ORCL --username edw_src --password 123456  --target-dir /usr/home  --num-mappers 1 --table  ORDER_INFO_BAK  --fields-terminated-by  ','

sqoop导入递增数据:条件ID或者表字段必须为自增数据1.2.3.....  1992...

./sqoop import --connect jdbc:oracle:thin:@192.168.200.58:1521:ORCL --username r_dw_src --password  ZN2016Zggcd2016  --target-dir /rainbow/test  --num-mappers 1 --table DW_SRC.SYS_AREA --fields-terminated-by '\t' --incremental append  --check-column ID --last-value 1992

上语句表示:插入1992之后的所有数据即是ID大于1992的数据

方式一

以时间为增量字段

./sqoop  import --append  --connect jdbc:oracle:thin:@192.168.200.58:1521:ORCL --username r_dw_src --password SDZN2016Zggcd2016  --target-dir /rainbow/oracle --num-mappers 1 --table DW_SRC.ORDER_DETAIL --fields-terminated-by '\t'  --where  "to_char(MODIFY_TIME,'yyyy/mm')='2015/04'";

方式二

 ./sqoop  import --append  --connect jdbc:oracle:thin:@192.168.200.58:1521:ORCL --username r_dw_src --password SDZN2016Zggcd2016  --target-dir /rainbow/test --num-mappers 1  --fields-terminated-by '\t' --query  'select * from DW_SRC.SYS_AREA where ID > 5817 and $CONDITIONS' 

columns:表中的导入部分字段

*********sqoop  export------*************
更新"quantity,occ_date"字段其中occ_date为mysql的唯一主键)有的覆盖,没有的添加
sqoop export --connect "jdbc:mysql://192.168.0.197:3306/bigdata_lots?useUnicode=true&characterEncoding=utf-8"  --username root --password root 
--table sd_next_weeks_fee_quantitys  --input-null-string "\\\\N" --input-null-non-string "\\\\N" --input-fields-terminated-by "\001"--columns="quantity,occ_date" --input-lines-terminated-by "\\n" -m 1 --export-dir /user/hive/warehouse/totallots.db/sd_next_weeks_quantity/--update-key occ_date --update-mode allowinsert 
更新表全部的字段
sqoop export --connect "jdbc:mysql://192.168.0.197:3306/bigdata_lots?useUnicode=true&characterEncoding=utf-8"  --username root --password root 
--table sd_next_weeks_fee_quantitys  --input-null-string "\\\\N" --input-null-non-string "\\\\N" --input-fields-terminated-by "\001" ---input-lines-terminated-by "\\n" -m 1 --export-dir /user/hive/warehouse/totallots.db/sd_next_weeks_quantity/ --update-key occ_date --update-mode allowinsert  

*********************************************

#Oracle的连接字符串,其中包含了URL,SID,和PORT 
URL=jdbc:oracle:thin:@132.232.19.79:10521:szdw

#使用的用户名 
USERNAME=szdw 
#使用的密码 
PASSWORD=szdw 
#需要从Oracle中导入的表名 
TableNAME=proc_resource_admin 
#需要从Oracle中导入的表中的字段名 ,也可省略
COLUMNS=AREA_ID,TEAM_NAME 
#将Oracle中的数据导入到HDFS后的存放路径,系统自动创建该路径
HADFPATH=/home/Hadoop/data/ proc_resource_admin

四、sqoop增量导入Hive

1) bin/sqoop import --connect jdbc:MySQL://10.X.X.X:3306/lir --username dss --password xxx123 --table bb_month --hive-import --incremental append --check-column ID --last-value 714
2) bin/sqoop import --connect jdbc:mysql://10.X.X.X:3306/lir --table bb_month --username dss -P --hive-import --incremental append --check-column ID --last-value 714 -- --default-character-set=utf-8

使用sqoop工具进行数据导入导出中可以进行并行导入的方法

例如  从mysql数据库中导入到hive中可以执行

sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 1

其中-m 1 参数代表的含义是使用多少个并行,这个参数的值是1,说明没有开启并行功能。

将m参数的数值调为5或者更大,Sqoop就会开启5个进程,同时进行数据的导入操作。

注意:mysql数据库的表中需要有个主键,如果没有主键的话需要手动选取一个合适的拆分字段。

sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 5  --split-by uid  --where "rdate='2012-03-39'"

如果不能满足需求的话,则使用

sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 1  --where 'logtime<10:00:00'

sqoop import --connect jdbc:mysql://localhost/gamewave --username root --password 123456 --table log --hive-import -m 1  --where 'logtime>=10:00:00'

从而达到并行导入的目的