hadoop3.x教程目录-马育民老师

# [centos教程目录](https://www.malaoshi.top/show_1IX4Gazamspq.html "centos教程目录")

# 基础

1. [hadoop3.x 介绍](https://www.malaoshi.top/show_1IXVarfH77I.html "hadoop3.x 介绍")

2. [hadoop目录结构](https://www.malaoshi.top/show_1IXWWpMCrem.html "hadoop目录结构")

3. [hadoop3.x 组成介绍](https://www.malaoshi.top/show_1IXX4ljPg3D.html "hadoop3.x 组成介绍")

# 部署

1. [hadoop3.x部署方式](https://www.malaoshi.top/show_1IX1WBsWwHyh.html "hadoop3.x部署方式")

### 伪分布式部署

1. [hadoop3.x伪分布式部署-准备linux环境](https://www.malaoshi.top/show_1IX1WKv7YxuL.html "hadoop3.x伪分布式部署-准备linux环境")

2. [hadoop3.x伪分布式部署-linux安装jdk（java）](https://www.malaoshi.top/show_1IX288FBEmjv.html "hadoop3.x伪分布式部署-linux安装jdk（java）")

5. [hadoop3.x伪分布式配置HDFS](https://www.malaoshi.top/show_1IXWLGRUC4S.html "hadoop伪分布式配置HDFS")

8. [hadoop3.x web管理界面介绍（端口号9870）](https://www.malaoshi.top/show_1IXYvBNtTCs.html "hadoop3.x web管理界面介绍（端口号9870）")

6. [hadoop3.x伪分布式部署：修改windows hosts文件](https://www.malaoshi.top/show_1IX288vvljbo.html "hadoop3.x伪分布式部署：修改windows hosts文件")

7. [hadoop3.x 文件系统常用命令(hadoop fs、hdfs fs)](https://www.malaoshi.top/show_1IXYspWBqJN.html "hadoop3.x 文件系统常用命令(hadoop fs、hdfs fs)")

10. [hadoop logs目录和日志文件（.log、.out）](https://www.malaoshi.top/show_1IXZHNB8Hpy.html "hadoop logs目录和日志文件（.log、.out）")

11. [hadoop3.x 重新格式化namenode](https://www.malaoshi.top/show_1IXYwUZJagq.html "hadoop3.x 重新格式化namenode")

7. [hadoop3.x yarn介绍](https://www.malaoshi.top/show_1IX28n29YLBN.html "hadoop3.x yarn介绍")

6. [hadoop伪分布式配置yarn](https://www.malaoshi.top/show_1IXYZnvFkzw.html "hadoop伪分布式配置yarn")

9. [hadoop3.x 统计词频案例（hadoop-mapreduce-examples）和web管理页面](https://www.malaoshi.top/show_1IXYw3PNLDQ.html "hadoop3.x 统计词频案例（hadoop-mapreduce-examples）和web管理页面")
 
 2. [hadoop：map、reduce 运算简单图解](https://www.malaoshi.top/show_1IX29zABvCZp.html "hadoop：map、reduce 运算简单图解")

7. [hadoop3.x 伪分布式配置历史服务（history server）](https://www.malaoshi.top/show_1IXZSSzbMw2.html "hadoop3.x 伪分布式配置历史服务（history server）")

8. [hadoop3.x 伪分布式配置日志聚集（log aggregation）](https://www.malaoshi.top/show_1IXZVPJZ7mU.html "hadoop3.x 伪分布式配置日志聚集（log aggregation）")

### 集群部署

1. [hadoop3.x集群部署-介绍](https://www.malaoshi.top/show_1IX1WBcLAQ7V.html "hadoop3.x集群部署-介绍")

3. [hadoop3.x集群部署-准备linux环境-设置静态IP](https://www.malaoshi.top/show_1IX1XqU04xxO.html "hadoop3.x集群部署-准备linux环境-设置静态IP")

4. [hadoop3.x集群部署-准备linux环境](https://www.malaoshi.top/show_1IX1WM65rT4t.html "hadoop3.x集群部署-准备linux环境")

5. [hadoop3.x集群部署-准备linux环境-ssh免密码登录](https://www.malaoshi.top/show_1IX1Y1ljABC7.html "hadoop3.x集群部署-准备linux环境-ssh免密码登录")

6. [hadoop3.x集群部署-准备linux环境-时间同步](https://www.malaoshi.top/show_1IX1Y7hXooOl.html "hadoop3.x集群部署-准备linux环境-时间同步")

2. [hadoop3.x集群部署-集群角色和服务器规划](https://www.malaoshi.top/show_1IX1WFEv7051.html "hadoop3.x集群部署-集群角色和服务器规划")

7. [hadoop3.x集群部署-在hadoop1安装jdk](https://www.malaoshi.top/show_1IX1tceFaQJ9.html "hadoop3.x集群部署-在hadoop1安装jdk")

8. [hadoop3.x集群部署-在hadoop1安装hadoop](https://www.malaoshi.top/show_1IX1tcohA7SO.html "hadoop3.x集群部署-在hadoop1安装hadoop")

9. [hadoop3.x scp命令将hadoop1文件发送给其他电脑](https://www.malaoshi.top/show_1IX1tfRFT2F0.html "hadoop3.x scp命令将hadoop1文件发送给其他电脑")

10. [hadoop3.x rsync命令将hadoop1文件同步给其他虚拟机](https://www.malaoshi.top/show_1IX1thSs9yBI.html "hadoop3.x rsync命令将hadoop1文件同步给其他虚拟机")

12. [hadoop3.x集群部署-配置HDFS、yarn、MapReduce](https://www.malaoshi.top/show_1IX1tjXoC8D2.html "hadoop3.x集群部署-配置HDFS、yarn、MapReduce")

13. [hadoop3.x集群部署-格式化NameNode](https://www.malaoshi.top/show_1IX1tjkOwa3V.html "hadoop3.x集群部署-格式化NameNode")

14. [hadoop3.x集群部署-启动、停止NameNode、DataNode、yarn](https://www.malaoshi.top/show_1IX1tk8idw4C.html "hadoop3.x集群部署-启动、停止NameNode、DataNode、yarn")

15. [hadoop3.x集群：NameNode web管理界面介绍（端口号9870）](https://www.malaoshi.top/show_1IX1tlK6VHyM.html "hadoop3.x集群：NameNode web管理界面介绍（端口号9870）")

- [hadoop3.x集群：修改windows hosts文件](https://www.malaoshi.top/show_1IX1twS2VXei.html "hadoop3.x集群：修改windows hosts文件")

15. [hadoop3.x集群：yarn web管理界面介绍（端口号8088）](https://www.malaoshi.top/show_1IX1tm93mcdr.html "hadoop3.x集群：yarn web管理界面介绍（端口号8088）")

15. [hadoop3.x集群：测试上传文件](https://www.malaoshi.top/show_1IX1tm1f3m2W.html "hadoop3.x集群：测试上传文件")

16. [hadoop3.x yarn介绍](https://www.malaoshi.top/show_1IX28n29YLBN.html "hadoop3.x yarn介绍")

17. [hadoop3.x集群：执行 wordcount 测试 yarn 和 MapReduce](https://www.malaoshi.top/show_1IX1tmQBfFCA.html "hadoop3.x集群：执行 wordcount 测试 yarn 和 MapReduce")

18. [hadoop3.x集群：配置、启动历史服务（history server，端口19888）](https://www.malaoshi.top/show_1IX1twV9qiPo.html "hadoop3.x集群：配置、启动历史服务（history server，端口19888）")

19. [hadoop3.x集群：配置日志聚集（log aggregation）](https://www.malaoshi.top/show_1IX1twzsC1uS.html "hadoop3.x集群：配置日志聚集（log aggregation）")

3. [hadoop启动命令：NameNode、DataNode、secondarynamenode、yarn、resourcemanager、nodemanager](https://www.malaoshi.top/show_1IX1txAO2b2o.html "hadoop启动命令：NameNode、DataNode、secondarynamenode、yarn、resourcemanager、nodemanager")

20. [hadoop3.x集群：编写Hadoop集群启动、停止脚本](https://www.malaoshi.top/show_1IX1txzjsANg.html "hadoop3.x集群：编写Hadoop集群启动、停止脚本")

### 常见错误

1. [yarn错误：java.net.BindException: Port in use: 8088](https://www.malaoshi.top/show_1IX1tknmMa5H.html "yarn错误：java.net.BindException: Port in use: 8088")

2. [hadoop3.x集群：datanode不同步数据](https://www.malaoshi.top/show_1IX1tuthiJB3.html "hadoop3.x集群：datanode不同步数据")

3. [hadoop3.x集群：挂掉datanode节点如何启动](https://www.malaoshi.top/show_1IX1tuXXrKRk.html "hadoop3.x集群：挂掉datanode节点如何启动")

4. [hadoop3: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9](https://www.malaoshi.top/show_1IX4LxN9K6gv.html "hadoop3: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9")

### 总结

5. [hadoop3.x 常用端口号](https://www.malaoshi.top/show_1IXaEymHhi5.html "hadoop3.x 常用端口号")

6. [配置文件模板](https://gitee.com/65242847/pic/tree/master/hadoop/xml "配置文件")

# HDFS

1. [hadoop：文件系统、元数据、文件系统分类、海量数据存储的问题](https://www.malaoshi.top/show_1IX28yS2DyqJ.html "hadoop：文件系统、元数据、文件系统分类、海量数据存储的问题")

1. [HDFS介绍](https://www.malaoshi.top/show_1IXZvb0kK2R.html "HDFS介绍")

2. [hadoop3.x：NameNode、DataNode、Secondary NameNode、Client客户端](https://www.malaoshi.top/show_1IX28z4sTb6F.html "hadoop3.x：NameNode、DataNode、Secondary NameNode、Client客户端")

3. [Hadoop3.x 分块机制和块大小（block size）](https://www.malaoshi.top/show_1IXYvBc7ftw.html "Hadoop3.x 分块机制和块大小（block size）")

4. [hadoop3.x：副本机制](https://www.malaoshi.top/show_1IX2976Jm4XI.html "hadoop3.x：副本机制")

5. [hadoop3.x：Namenode和namespace、元数据](https://www.malaoshi.top/show_1IX29EEITQOu.html "hadoop3.x：Namenode和namespace、元数据")

### SecondaryNameNode(2NN)

1. [hadoop3.x：FsImage、Edits作用](https://www.malaoshi.top/show_1IX3tJAkf0lx.html "hadoop3.x：FsImage、Edits作用")

2. [hadoop3.x：SecondaryNameNode(2NN)工作机制](https://www.malaoshi.top/show_1IX3tJB6NtDy.html "hadoop3.x：SecondaryNameNode(2NN)工作机制")

3. [hadoop3.x：FsImage镜像文件、FsImage.md5、seen_txid、VERSION内容](https://www.malaoshi.top/show_1IX3yyCgr6Ta.html "hadoop3.x：FsImage镜像文件、FsImage.md5、seen_txid、VERSION内容")

4. [hadoop3.x：oiv命令查看 fsimage 文件](https://www.malaoshi.top/show_1IX3yyCaJ7wZ.html "hadoop3.x：oiv命令查看 fsimage 文件")

5. [hadoop3.x：oev命令查看 edits 文件](https://www.malaoshi.top/show_1IX3yyHFS7Si.html "hadoop3.x：oev命令查看 edits 文件")

6. [hadoop3.x：SecondaryNameNode的checkpoint配置](https://www.malaoshi.top/show_1IX3yyW9NG1J.html "hadoop3.x：SecondaryNameNode的checkpoint配置")

### dn

1. [hadoop3.x：DataNode工作机制、blk_xxx数据文件、meta文件](https://www.malaoshi.top/show_1IX3zCf6e462.html "hadoop3.x：DataNode工作机制、blk_xxx数据文件、meta文件")

- [hadoop3.x：DataNode发送信息间隔时间配置](https://www.malaoshi.top/show_1IX3zCof9WcG.html "hadoop3.x：DataNode发送信息间隔时间配置")

2. [hadoop 数据完整性（数据的一致性）和CRC数据校验文件](https://www.malaoshi.top/show_1IX3ZvW3sAYJ.html "hadoop 数据完整性（数据的一致性）和CRC数据校验文件")

### 命令

7. [hadoop3.x 文件系统常用命令(hadoop fs、hdfs fs)](https://www.malaoshi.top/show_1IXYspWBqJN.html "hadoop3.x 文件系统常用命令(hadoop fs、hdfs fs)")

2. [hadoop3.x 文件系统补充命令(hadoop fs、hdfs fs)](https://www.malaoshi.top/show_1IXZwl0GbZ9.html "hadoop3.x 文件系统补充命令(hadoop fs、hdfs fs)")

### 开发

1. [hadoop3.x HDFS JAVA开发介绍](https://www.malaoshi.top/show_1IXaEESC2g9.html "hadoop3.x HDFS JAVA开发介绍")

1. [hadoop3.x windows搭建 JAVA 开发环境（winutils）](https://www.malaoshi.top/show_1IXa3fALldq.html "hadoop3.x windows搭建 JAVA 开发环境（winutils）")

3. [hadoop3.x HDFS java第一个例子](https://www.malaoshi.top/show_1IXaCj4VLZj.html "hadoop3.x HDFS java第一个例子")

4. [hadoop3.x HDFS java上传文件（设置副本参数）](https://www.malaoshi.top/show_1IX2x3UOE3Mi.html "hadoop3.x HDFS java上传文件（设置副本参数）")

5. [hadoop3.x HDFS java下载文件](https://www.malaoshi.top/show_1IXaHCU0l7t.html "hadoop3.x HDFS java下载文件")

6. [hadoop3.x HDFS java删除文件](https://www.malaoshi.top/show_1IXaQzPBmeE.html "hadoop3.x HDFS java删除文件")

7. [hadoop3.x HDFS java修改文件名、文件夹名和移动文件](https://www.malaoshi.top/show_1IXaRS1nsvj.html "hadoop3.x HDFS java修改文件名、文件夹名和移动文件")

8. [hadoop3.x HDFS java遍历文件详细信息（FileSystem.listFiles）](https://www.malaoshi.top/show_1IXacU6vlli.html "hadoop3.x HDFS java遍历文件详细信息（FileSystem.listFiles）")

9. [hadoop3.x HDFS java显示给定目录下的文件、目录信息（FileSystem的listLocatedStatus、listStatus、listStatusIterator方法）](https://www.malaoshi.top/show_1IXad4MHBgH.html "hadoop3.x HDFS java显示给定目录下的文件、目录信息（FileSystem的listLocatedStatus、listStatus、listStatusIterator方法）")

10. [hadoop3.x HDFS java上传文件的源码分析](https://www.malaoshi.top/show_1IXagki0foG.html "hadoop3.x HDFS java上传文件的源码分析")

11. [hadoop3.x HDFS java下载文件的源码分析](https://www.malaoshi.top/show_1IXagztSKxU.html "hadoop3.x HDFS java下载文件的源码分析")

### 读写数据流程

1. [hadoop3.x：HDFS 写流程、Pipeline管道、ACK应答](https://www.malaoshi.top/show_1IX29Fc7gVjg.html "hadoop3.x：HDFS 写流程、Pipeline管道、ACK应答")

2. [hadoop3.x：HDFS 写流程-数据复制和副本节点（DataNode）选择](https://www.malaoshi.top/show_1IX29G4S51pN.html "hadoop3.x：HDFS 写流程-数据复制和副本节点（DataNode）选择")

13. [hadoop3.x HDFS读数据流程](https://www.malaoshi.top/show_1IXan5dvxXD.html "hadoop3.x HDFS读数据流程")

14. [hadoop3.x client下载文件时，namenode一次性将block信息发送给客户端](https://www.malaoshi.top/show_1IX2DmMGrpgk.html "hadoop3.x client下载文件时，namenode一次性将block信息发送给客户端")

# 压缩

1. [hadoop3.x：HDFS文件压缩格式](https://www.malaoshi.top/show_1IX29LxJnwGT.html "hadoop3.x：HDFS文件压缩格式")

### 编译源码

1. [hadoop编译源码介绍](https://www.malaoshi.top/show_1IX1Ueg95J5n.html "hadoop编译源码介绍")

2. [hadoop3.x编译源码（centos7平台，支持snappy）](https://www.malaoshi.top/show_1IX1UPSpQtLP.html "hadoop3.x编译源码（centos7平台，支持snappy）")

# 常用

1. [hadoop启动NameNode、DataNode、yarn、history server](https://www.malaoshi.top/show_1IXjWGTSoJZ.html "hadoop启动NameNode、DataNode、yarn、history server")

# 其他

1. [hadoop3.x 将普通用户增加到HDFS的超级用户组supergroup](https://www.malaoshi.top/show_1IX4GS5VeqWT.html "hadoop3.x 将普通用户增加到HDFS的超级用户组supergroup")

2. [hadoop hdfs关闭权限管理](https://www.malaoshi.top/show_1IX4NIar3nzS.html "hadoop hdfs关闭权限管理")

# 常见问题

1. [hadoop、hdfs报错：`Permission denied: user=root, access=WRITE, inode=“/“:root:supergroup:drwxr-xr-x`](https://www.malaoshi.top/show_1IX4GSELXVZY.html "hadoop、hdfs报错：Permission denied: user=root,")

原文出处：https://malaoshi.top/show_1IXVasYt2DK.html