irpas技术客

在IDEA编写MapReduce程序加载数据出现错误:(null) entry in command string: null chmod 0644_嘉嘉嘉Je

未知 8406

在IDEA编写MapReduce程序,使用BulkLoad加载数据到hbase上时

报错:(null) entry in command string: null chmod 0644

原因:hadoop集群是搭载在Linux环境上,而开发环境是在windows系统上,没有hadoop的环境,IDEA会报错,需要安装一些工具

解决方法:

① hadoop版本3.3.0

② 创建文件夹C:\software\hadoop-3.3.0\bin,把相应版本的文件放进去

③ 配置环境变量:配置HADOOP_HOME环境变量,再到Path中添加bin目录:%HADOOP_HOME%\bin

如果能在黑窗口输入命令【winutils】成功运行,则表明配置成功。

参考:

https://stackoverflow.com/questions/48010634/why-does-spark-application-fail-with-ioexception-null-entry-in-command-strinhttps://stackoverflow.com/questions/40764807/null-entry-in-command-string-exception-in-saveastextfile-on-pyspark

https://·/p/9e8cc794f7e6

另外:

有时候报错会显示某个依赖的包丢失:NoClassDefFoundError......

有可能是IDEA识别不出来,在设置那里让IDEA重新识别一下即可,(这个问题被坑得好惨。)


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。

标签: #Entry #in #command #string #null #chmod #0644