Sqoop 安装 安装条件下载并解压修改环境变量修改配置文件拷贝JDBC驱动拷贝 Hive 驱动验证SqoopSqoop 连接数据库

安装条件

具备 Java 和 Hadoop 的环境

Java :

https://blog.csdn.net/qq_44226094/article/details/122685082

Hadoop HA :

https://blog.csdn.net/qq_44226094/article/details/123401032

下载并解压

下载地址：

http://archive.apache.org/dist/sqoop/1.4.7/

上传安装包 sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz 到 服务器

解压 sqoop 安装包到指定目录

tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /opt/module

重命名

mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7/

修改环境变量 sudo vim /etc/profile.d/my_env.sh # SQOOP_HOME export SQOOP_HOME=/opt/module/sqoop-1.4.7 export PATH=$PATH:$SQOOP_HOME/bin

source /etc/profile.d/my_env.sh 修改配置文件

重命名配置文件

mv sqoop-env-template.sh sqoop-env.sh

修改配置文件

vim sqoop-env.sh export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.3 export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3 export HIVE_HOME=/opt/module/hive-3.1.2 export HIVE_CONF_DIR=$HIVE_HOME/conf export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7 export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf export HBASE_HOME=/opt/module/hbase-2.0.5

拷贝JDBC驱动

拷贝 jdbc 驱动到 sqoop 的 lib 目录

cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop-1.4.7/lib/

拷贝 Hive 驱动

拷贝 Hive驱动到 sqoop 的 lib 目录

cp /opt/module/hive-3.1.2/lib/hive-common-3.1.2.jar /opt/module/sqoop-1.4.7/lib/ 验证Sqoop

command来验证sqoop配置是否正确：

sqoop help

Sqoop 连接数据库 sqoop list-databases --connect jdbc:mysql://cpu102:3306/ --username root --password xxxxxx

---

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。