一、Sqoop简介二、安装2.1下载并解压2.2配置环境变量2.3修改配置2.4拷贝数据库驱动2.5验证
一、Sqoop简介Sqoop是一个常用的数据迁移工具,主要用于在不同存储系统之间实现数据的导入与导出:
导入数据:从MySQL,Oracle等关系型数据库中导入数据到HDFS、Hive、HBase等分布式文件存储系统中;
导出数据:从分布式文件系统中导出数据到关系数据库中。
其原理是将执行命令转化成MapReduce作业来实现数据的迁移,如下图:
二、安装版本选择:目前Sqoop有Sqoop1和Sqoop2两个版本,但是截至到目前,官方并不推荐使用Sqoop2,因为其与Sqoop1并不兼容,且功能还没有完善,所以这里优先推荐使用Sqoop1。
2.1下载并解压下载所需版本的Sqoop,这里我下载的是CDH版本的Sqoop。下载地址为: