hadoop3.x 文件系统补充命令(hadoop fs、hdfs fs) 作者：马育民 • 2021-02-12 15:11 • 阅读：10427 上接：[hadoop3.x 文件系统常用命令(hadoop fs、hdfs dfs)](https://www.malaoshi.top/show_1IXYspWBqJN.html "hadoop3.x 文件系统常用命令(hadoop fs、hdfs dfs)") # 从 本地 到 HDFS 操作 ### 从本地移动到HDFS（moveFromLocal） ``` hadoop fs -moveFromLocal ./1.txt /top/malaoshi/data ``` ### 追加（appendToFile） ``` hadoop fs -appendToFile ./2.txt /top/malaoshi/data/1.txt ``` ### 从本地拷贝文件到HDFS（copyFromLocal） 类似 `hadoop fs -put` 命令，详见 [链接](https://www.malaoshi.top/show_1IXYspWBqJN.html "链接") ``` hadoop fs -copyFromLocal 1.txt /top/malaoshi/data/ ``` # 从 HDFS 到 本地 操作 ### 从HDFS拷贝到本地（copyToLocal） 类似 `hadoop fs -get` 命令，详见 [链接](https://www.malaoshi.top/show_1IXYspWBqJN.html "链接") ``` hadoop fs -copyToLocal /top/malaoshi/data/1.txt ./ ``` ### 合并多个文件下载（getmerge） 将 HDFS 目录中多个文件合并，然后下载 ``` hadoop fs -getmerge /top/malaoshi/data/*.txt ./all.txt ``` # HDFS 内操作 ### 在HDFS中拷贝文件（cp） ``` hadoop fs -cp /top/malaoshi/data/1.txt /1.txt ``` ### 在HDFS中移动文件（mv） ``` hadoop fs -mv /1.txt /top/malaoshi/data/1.txt ``` ### 修改文件名（mv） ``` hadoop fs -mv /1.txt /2.txt ``` # 统计目录的大小（du） ##### 显示该目录内文件的大小 ``` hadoop fs -du -h /top/malaoshi/data/ ``` **命令解释：** - `-h` ：人类可读的方式格式化文件大小（例如64.0m而不是67108864） **显示结果如下：** ``` 70 70 /top/malaoshi/data/data.txt ``` **结果解释：** - 第一列是该目录下总文件大小 - 第二列是该目录下所有文件在集群上的总存储大小。与副本数有关，如果副本数是3 ，那么第二列是第一列的3倍 - 第三列标示你查询的目录 ##### 显示该目录的大小 ``` hadoop fs -du -s -h /top/malaoshi/data ``` ### 设置文件副本数量 ``` hadoop fs -setrep 10 /top/malaoshi/data/data.txt ``` **注意：** 此处设置的副本数只是 **记录在 NameNode 的元数据** 中，是否生效 **取决于 DataNode 数量**。只有 DataNode 数量增加到10台时，副本数才能达到10 # 权限 ### 修改文件权限（chgrp 、chmod、chown） ``` hadoop fs -chmod 666 /top/malaoshi/data/1.txt ``` ``` hadoop fs -chown root:root /top/malaoshi/data/1.txt ``` 原文出处：http://malaoshi.top/show_1IXZwl0GbZ9.html