Hive报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 1、集群环境2、错误由来3、错误原因4、错误分析5、解决办法 1、集群环境
CDH集群，hive的引擎是mr。
2、错误由来今天在测试环境的集群里跑hive任务，报错Error while processing statement: FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask。
3、错误原因这个错误是因为hive的map join参数默认是开启的：
hive.auto.convert.join=true使用hive进行map join时， 节点内存不够就会报该类型错误。
4、错误分析MapJoin是指在Map 端进行join，其原理是broadcast join，即把小表作为一个完整的驱动表来进行join操作。通常情况下，要连接的各个表里面的数据会分布在不同的Map中进行处理。即同一个Key对应的Value可能存在不同的Map中。这样就必须等到 Reduce中去连接。要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。Map Join会把小表全部读入内存中，在Map阶段直接拿另外一个表的数据和内存中表数据做匹配 (这时可以使用Distributed Cache将小表分发到各个节点上，以供Mapper加载使用)，由于在map时进行了join操作，省去了reduce运行的效率也会高很多。
当机器内存不足时，无法在Map端进行join，即会报错。
5、解决办法1、可以关闭上面的map join 改为common join shell命令行：set hive.auto.convert.join=false
2、修改配置文件下的参数可以把map join 关闭，使用common join hive_conf.xml
<property> <name>hive.auto.convert.join</name> <value>false</value>//true修改为false <description>Enables the optimization about converting common join into mapjoin</description> </property>
 1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |
