说明
hadoop3.x有以下目录:
bin:操作 hadoop 的命令,如:
hadoop操作 HDFS 上传文件等sbin:启动、停止 Hadoop相关服务的脚本
etc:存放Hadoop的 配置文件
lib:本地库,C++编译的库。如:重新编译 hadoop 源码,支持数据压缩解压缩功能,需要用
share:Hadoop的依赖jar包、文档、和官方案例
include:C++头文件,用于C++程序访问HDFS或者编写MapReduce程序
libexec:各个服务对用的shell配置文件,可用于配置日志输出、启动参数(比如JVM参数)等
bin
hadoop:操作 HDFS 文件系统,并支持的其他文件系统,如本地 FS、WebHDFS、S3 FS 等hdfs:只能操作 HDFS 文件系统,参数 与 hadoop fs 相同mapred:与 MapReduce 计算相关的命令yarn:与 yarn 资源调度相关的命令
sbin
该目录下的脚本:
start-dfs.sh 启动NameNode ,SecondaryNamenode ,DataNode这些进程
start-yarn.sh 启动ResourceManager,nodeManager 这些进程
stop-dfs.sh 关闭NameNode ,SecondaryNamenode ,DataNode这些进程
stop-yarn.sh 关闭ResourceManager,nodeManager 这些进程
hadoop-daemon.sh 通过执行hadoop命令来启动/停止一个守护进程(daemon);他可以单独开启一个进程也可以使用hadoop-daemons来开启多个进程,这样我们在某台机器挂掉时,就不用全部重新开启了
start-all.sh 调用 start-dfs.sh和start-yarn.sh(官方不建议使用)
stop-all.sh 调用 stop-dfs.sh和stop-yarn.sh(官方不建议使用)
stop-balancer.sh 停止balancer
stop-mapred.sh 停止MapReduce
etc/hadoop
该目录下的配置文件:
core-site.xml:Hadoop核心全局配置文件,其他配置文件中引用该文件中定义的属性
如:在 hdfs-site.xml 、mapred-site.xml 会引用该文件的属性;hadoop-env.sh:Hadoop环境变量。一般需要配置JAVA_HOME
hdfs-site.xml:HDFS配置文件,该模板的属性继承于
core-site.xmlmapred-site.xml:MapReduce的配置文件,该模板的属性继承于
core-site.xmlyarn-site.xml:yarn的配置文件,该模板的属性继承于
core-site.xmlslaves 用于设置所有的slave的名称或IP,每行存放一个。如果是名称,那么设置的slave名称必须在
/etc/hosts有IP映射配置