irpas技术客

HDFS常用命令(总结)_徐小慧_Blog_hdfs命令

irpas 7395

1.查看hdfs下根目录下的文件

hdfs dfs -ls /

2.查看hdfs某个目录下的所有文件结构: 如:查看根目录所有文件结构

hdfs dfs -ls -R / hdfs dfs -lsr /

如:查看根文件tmp下的所有文件列表

hdfs dfs -ls -R /tmp/ hdfs dfs -lsr /tmp/

3.创建文件夹 如:在根文件的test目录下,创建test2

hdfs dfs -mkdir /test/test2

或者:

hdfs dfs -mkdir hdfs://49.2.1.1/test/test123/

4.创建文件夹 - 递归创建文件夹

hdfs dfs -mkdir -p /test/test3/test4/

5.本地文件移动上传hdfs某个目录: 如:

hdfs dfs -moveFromLocal /opt/hadoop/servers/test/hellow.txt /test/test123

6.hdfs文件移动到本地: 如:

hdfs dfs -moveToLocal /test/test123/hellow.txt /opt/hadoop/servers/

出现了一下问题:

moveToLocal: Option ‘-moveToLocal’ is not implemented yet

7.hdfs内部进行文件移动

hdfs dfs -mv /test/test123/ /test/test2/

8.将本地文件放到hdfs某个目录:

hdfs dfs -put /opt/hadoop/servers/test/ /tmp/

9.查看hdfs上某个文件的内容:

hdfs dfs -cat /test/test2/test123/hellow.txt

10.追加一个或者多个文件到hdfs指定文件中.也可以从命令行读取输入 如:追加本地aa.txt 到hdfs 上的 hellow.txt中

hdfs dfs -appendToFile /opt/hadoop/servers/test/aa.txt /test/test2/test123/hellow.txt

如:追加本地bb.txt cc.txt 到hdfs 上的 hellow.txt中:

hdfs dfs -appendToFile /opt/hadoop/servers/test/dd.txt /opt/hadoop/servers/test/cc.txt /test/test2/test123/hellow.txt

11.hdfs间文件拷贝:复制文件(夹),可以覆盖,可以保留原有权限信息

hdfs dfs -cp /test/test2/test123/hellow.txt /test/

12.hdfs删除某个文件

hdfs dfs -rm /test/test2/test123/hellow.txt

13.hfds递归删除

hdfs dfs -rm -r /test

14.hdfs赋予文件夹权限

hdfs dfs -chmod -R -777 / get 格式 hdfs dfs -get [-ignorecrc ] [-crc] <src> <localdst>

作用:将文件拷贝到本地文件系统。 CRC 校验失败的文件通过-ignorecrc选项拷贝。 文件和CRC校验和可以通过-CRC选项拷贝

hdfs dfs -get /install.log /export/servers

15.chown 格式: hdfs dfs -chmod [-R] URI[URI …] 作用: 改变文件的所属用户和用户组。如果使用 -R 选项,则对整个目录有效递归执行。使用这一命令的用户必须是文件的所属用户,或者超级用户。

hdfs dfs -chown -R hadoop:hadoop /install.log


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,会注明原创字样,如未注明都非原创,如有侵权请联系删除!;3.作者投稿可能会经我们编辑修改或补充;4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。

标签: #hdfs命令 #dfs #ls #R