在IDEA编写MapReduce程序,使用BulkLoad加载数据到hbase上时
报错:(null) entry in command string: null chmod 0644
原因:hadoop集群是搭载在Linux环境上,而开发环境是在windows系统上,没有hadoop的环境,IDEA会报错,需要安装一些工具
解决方法:
① hadoop版本3.3.0
② 创建文件夹C:\software\hadoop-3.3.0\bin,把相应版本的文件放进去
③ 配置环境变量:配置HADOOP_HOME环境变量,再到Path中添加bin目录:%HADOOP_HOME%\bin
如果能在黑窗口输入命令【winutils】成功运行,则表明配置成功。
参考:
https://stackoverflow.com/questions/48010634/why-does-spark-application-fail-with-ioexception-null-entry-in-command-strinhttps://stackoverflow.com/questions/40764807/null-entry-in-command-string-exception-in-saveastextfile-on-pyspark
https://·/p/9e8cc794f7e6
另外:
有时候报错会显示某个依赖的包丢失:NoClassDefFoundError......
有可能是IDEA识别不出来,在设置那里让IDEA重新识别一下即可,(这个问题被坑得好惨。)
1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。 |