centos教程目录

基础

1. hadoop3.x 介绍

2. hadoop目录结构

3. hadoop3.x 组成介绍

部署

1. hadoop3.x部署方式

伪分布式部署

1. hadoop3.x伪分布式部署-准备linux环境

2. hadoop3.x伪分布式部署-linux安装jdk（java）

3. hadoop3.x伪分布式配置HDFS

   1. hadoop3.x web管理界面介绍（端口号9870）

   2. hadoop3.x伪分布式部署：修改windows hosts文件

   3. hadoop3.x 文件系统常用命令(hadoop fs、hdfs fs)

   4. hadoop logs目录和日志文件（.log、.out）

   5. hadoop3.x 重新格式化namenode

4. hadoop3.x yarn介绍

5. hadoop伪分布式配置yarn

   1. hadoop3.x 统计词频案例（hadoop-mapreduce-examples）和web管理页面

   2. hadoop：map、reduce 运算简单图解

6. hadoop3.x 伪分布式配置历史服务（history server）

7. hadoop3.x 伪分布式配置日志聚集（log aggregation）

集群部署

1. hadoop3.x集群部署-介绍

2. hadoop3.x集群部署-准备linux环境-设置静态IP

3. hadoop3.x集群部署-准备linux环境

4. hadoop3.x集群部署-准备linux环境-ssh免密码登录

5. hadoop3.x集群部署-准备linux环境-时间同步

6. hadoop3.x集群部署-集群角色和服务器规划

7. hadoop3.x集群部署-在hadoop1安装jdk

8. hadoop3.x集群部署-在hadoop1安装hadoop

9. hadoop3.x scp命令将hadoop1文件发送给其他电脑

10. hadoop3.x rsync命令将hadoop1文件同步给其他虚拟机

11. hadoop3.x集群部署-配置HDFS、yarn、MapReduce

12. hadoop3.x集群部署-格式化NameNode

13. hadoop3.x集群部署-启动、停止NameNode、DataNode、yarn

14. hadoop3.x集群：NameNode web管理界面介绍（端口号9870）

    • hadoop3.x集群：修改windows hosts文件

15. hadoop3.x集群：yarn web管理界面介绍（端口号8088）

16. hadoop3.x集群：测试上传文件

17. hadoop3.x yarn介绍

18. hadoop3.x集群：执行 wordcount 测试 yarn 和 MapReduce

19. hadoop3.x集群：配置、启动历史服务（history server，端口19888）

20. hadoop3.x集群：配置日志聚集（log aggregation）

21. hadoop启动命令：NameNode、DataNode、secondarynamenode、yarn、resourcemanager、nodemanager

22. hadoop3.x集群：编写Hadoop集群启动、停止脚本

常见错误

1. yarn错误：java.net.BindException: Port in use: 8088

2. hadoop3.x集群：datanode不同步数据

3. hadoop3.x集群：挂掉datanode节点如何启动

4. hadoop3: WARNING: nodemanager did not stop gracefully after 5 seconds: Trying to kill with kill -9

总结

1. hadoop3.x 常用端口号

2. 配置文件模板

HDFS

1. hadoop：文件系统、元数据、文件系统分类、海量数据存储的问题

2. HDFS介绍

3. hadoop3.x：NameNode、DataNode、Secondary NameNode、Client客户端

4. Hadoop3.x 分块机制和块大小（block size）

5. hadoop3.x：副本机制

6. hadoop3.x：Namenode和namespace、元数据

SecondaryNameNode(2NN)

1. hadoop3.x：FsImage、Edits作用

2. hadoop3.x：SecondaryNameNode(2NN)工作机制

3. hadoop3.x：FsImage镜像文件、FsImage.md5、seen_txid、VERSION内容

4. hadoop3.x：oiv命令查看 fsimage 文件

5. hadoop3.x：oev命令查看 edits 文件

6. hadoop3.x：SecondaryNameNode的checkpoint配置

dn

1. hadoop3.x：DataNode工作机制、blk_xxx数据文件、meta文件

   • hadoop3.x：DataNode发送信息间隔时间配置

2. hadoop 数据完整性（数据的一致性）和CRC数据校验文件

命令

1. hadoop3.x 文件系统常用命令(hadoop fs、hdfs fs)

2. hadoop3.x 文件系统补充命令(hadoop fs、hdfs fs)

开发

1. hadoop3.x HDFS JAVA开发介绍

2. hadoop3.x windows搭建 JAVA 开发环境（winutils）

3. hadoop3.x HDFS java第一个例子

4. hadoop3.x HDFS java上传文件（设置副本参数）

5. hadoop3.x HDFS java下载文件

6. hadoop3.x HDFS java删除文件

7. hadoop3.x HDFS java修改文件名、文件夹名和移动文件

8. hadoop3.x HDFS java遍历文件详细信息（FileSystem.listFiles）

9. hadoop3.x HDFS java显示给定目录下的文件、目录信息（FileSystem的listLocatedStatus、listStatus、listStatusIterator方法）

10. hadoop3.x HDFS java上传文件的源码分析

11. hadoop3.x HDFS java下载文件的源码分析

读写数据流程

1. hadoop3.x：HDFS 写流程、Pipeline管道、ACK应答

2. hadoop3.x：HDFS 写流程-数据复制和副本节点（DataNode）选择

3. hadoop3.x HDFS读数据流程

4. hadoop3.x client下载文件时，namenode一次性将block信息发送给客户端

压缩

1. hadoop3.x：HDFS文件压缩格式

编译源码

1. hadoop编译源码介绍

2. hadoop3.x编译源码（centos7平台，支持snappy）

常用

1. hadoop启动NameNode、DataNode、yarn、history server

其他

1. hadoop3.x 将普通用户增加到HDFS的超级用户组supergroup

2. hadoop hdfs关闭权限管理

常见问题

1. hadoop、hdfs报错：Permission denied: user=root, access=WRITE, inode=“/“supergroup:drwxr-xr-x