1、问题

在做spark数据对账时，对于部分orc格式的hive表，会有spark sql读取表数据为空的情况

排查过程中发现是因为使用了tez作为hive的执行引擎，然后执行insert select union all 时，对应的hdfs数据路径，不是直接存放数据文件，而是先有子目录HIVE_UNION_SUBDIR_x，子目录下再存放数据文件

参考文章： https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2309.html https://blog.csdn.net/a5685263/article/details/103508097 但是只有问题，并没有针对spark的解决方案

2、解决方案

查看spark官方文档，找到一个参数

设置参数：spark.sql.hive.convertMetastoreOrc=false

问题得到解决

看文档的解释，这个参数的默认值是true，是spark操作orc表数据，默认使用内置的ORC reader和writer，替代hive的 但是遇到某些不兼容的情况，可能就直接报错或者读取不到数据了

下面这个Spark JIRA也印证了我的猜想： https://issues.apache.org/jira/browse/SPARK-28098

补充：

后面在网上看到了这篇文章： https://·/3387433632.html 这里解释的比较清楚了

另外对于Parquet格式，相应应该设置：spark.sql.hive.convertMetastoreParquet=false

---

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。