irpas技术客

sqoop从hive导出数据到mysql的三种方式_爱吃肉的瘦子a_sqoop导出hive数据到mysql

未知 6706

1、最常见方式 sqoop export –connectjdbc:mysql://localhost:3306/wht –username root –password cloudera –tablewht_test2 –fields-terminated-by ‘\t’ –export-dir /user/hive/warehouse/wht_test1 此方式需要考虑到建hive表时的分隔符,如果没指定此方式行不通(个人没测通,如果有大佬测通了可以私信分享我,谢谢)

2、方式二 sqoop export –connect “jdbc:mysql://:3306/db_bi?useUnicode=true&characterEncoding=UTF-8" –username ** –password ** –table ** –hcatalog-database ** –hcatalog-table ** –columns ",*” –input-null-non-string ‘\N’ –input-null-string ‘\N’ 此方式不需要考虑分隔符,也可以选择性指定需要导出到mysql的hive表字段,每次都是全量导出,如果考虑到重复执行,每次需清空mysql表数据,防止重复

3、方式三 sqoop export –connect “jdbc:mysql://:/db?useUnicode=true&characterEncoding=UTF-8” –username ** –password ** –table ** –update-key ** –update-mode allowinsert –export-dir ** –lines-terminated-by ‘\t’ –fields-terminated-by ‘\001’ –input-null-non-string ‘\N’ –input-null-string ‘\N’ –num-mappers 1 此方式按hive表的分区路径增量导入,重复执行时会根据update_key更新插入


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。

标签: #username #root #password #Cloudera #tablewht_test2