1、问题
在做spark数据对账时,对于部分orc格式的hive表,会有spark sql读取表数据为空的情况
排查过程中发现是因为使用了tez作为hive的执行引擎,然后执行insert select union all 时,对应的hdfs数据路径,不是直接存放数据文件,而是先有子目录HIVE_UNION_SUBDIR_x,子目录下再存放数据文件
参考文章: https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2309.html https://blog.csdn.net/a5685263/article/details/103508097 但是只有问题,并没有针对spark的解决方案
2、解决方案查看spark官方文档,找到一个参数
设置参数:spark.sql.hive.convertMetastoreOrc=false
问题得到解决
看文档的解释,这个参数的默认值是true,是spark操作orc表数据,默认使用内置的ORC reader和writer,替代hive的 但是遇到某些不兼容的情况,可能就直接报错或者读取不到数据了
下面这个Spark JIRA也印证了我的猜想: https://issues.apache.org/jira/browse/SPARK-28098
补充:后面在网上看到了这篇文章: https://·/3387433632.html 这里解释的比较清楚了
另外对于Parquet格式,相应应该设置:spark.sql.hive.convertMetastoreParquet=false
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |
标签: #spark读取不到hive表 #select #union #all