HDFS常用操作shell命令

文章目录

常用命令：遇到问题： 一般使用 bin/hadoop fs 或 bin/hdfs dfs 命令

dfs是fs的实现类。两个命令都是操作HDFS.

常用命令：

#查看 hadoop fs -ls / #创建目录:-p创建多级目录 hadoop fs -mkdir -p /zx/file #从本地剪切文件到HDFS hadoop fs -moveFromLocal ./tt.txt /zx/file #从本地拷贝文件到HDFS 和-put命令功能一样 hadoop fs -copyFromLocal ./a.txt /zx/file hadoop fs -put ... #查看文件内容 hadoop fs -cat /zx/file/tt.txt #追加一个文件到已存在的文件末尾 hadoop fs -appendToFile ./t.txt /zx/file/tt.txt #-chgrp 、-chmod、-chown 和Linux用法一样 #chgrp -R root test #chown -R root:root test #chmod a+r test / chmod 666 test #为tt.tx文件的用户组添加可写权限 hadoop fs -chmod g+w /zx/file/tt.txt #从HDFS拷贝到本地aa目录下，和get命令一样 hadoop fs -copyToLocal /zx/file/tt.txt ./aa/ hadoop fs -get ... #-cp ,-mv 拷贝和移动HDFS中的文件 hadoop fs -cp /sanguo/shuguo/kongming.txt /zhuge.txt hadoop fs -mv /zhuge.txt /sanguo/shuguo/ #-du统计文件夹的大小信息 #-rmdir：删除空目录 #-rm：删除文件或文件夹 #-tail：显示一个文件的末尾 #-getmerge：合并下载多个文件，比如HDFS的目录 /user/atguigu/test下有多个文件:log.1, log.2,log.3,... hadoop fs -getmerge /user/atguigu/test/* ./zaiyiqi.txt #-setrep：设置HDFS中文件的副本数量 [atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -setrep 10 /sanguo/shuguo/kongming.txt

这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10

遇到问题：

2020-06-19 19:52:45,732 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false 2020-06-19 19:52:45,910 INFO hdfs.DataStreamer: Exception in createBlockOutputStream blk_1073741825_1001 java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 192.168.43.12:9866 at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:134) at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:110) at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1778) at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1679) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:716)

需要关闭datanode的防火墙