登录    关于
马育民老师的博客

马育民的博客

QQ:65242847

hadoop3.x目录结构和命令介绍

说明

hadoop3.x有以下目录:

  • bin:操作 hadoop 的命令,如:hadoop操作 HDFS 上传文件等

  • sbin启动、停止 Hadoop相关服务的脚本

  • etc:存放Hadoop的 配置文件

  • lib:本地库,C++编译的库。如:重新编译 hadoop 源码,支持数据压缩解压缩功能,需要用

  • share:Hadoop的依赖jar包、文档、和官方案例

  • include:C++头文件,用于C++程序访问HDFS或者编写MapReduce程序

  • libexec:各个服务对用的shell配置文件,可用于配置日志输出、启动参数(比如JVM参数)等

bin

  • hadoop:操作 HDFS 文件系统,并支持的其他文件系统,如本地 FS、WebHDFS、S3 FS 等
  • hdfs:只能操作 HDFS 文件系统,参数 与 hadoop fs 相同
  • mapred:与 MapReduce 计算相关的命令
  • yarn:与 yarn 资源调度相关的命令

sbin

该目录下的脚本:

  • start-dfs.sh 启动NameNode ,SecondaryNamenode ,DataNode这些进程

  • start-yarn.sh 启动ResourceManager,nodeManager 这些进程

  • stop-dfs.sh 关闭NameNode ,SecondaryNamenode ,DataNode这些进程

  • stop-yarn.sh 关闭ResourceManager,nodeManager 这些进程

  • hadoop-daemon.sh 通过执行hadoop命令来启动/停止一个守护进程(daemon);他可以单独开启一个进程也可以使用hadoop-daemons来开启多个进程,这样我们在某台机器挂掉时,就不用全部重新开启了

  • start-all.sh 调用 start-dfs.sh和start-yarn.sh(官方不建议使用)

  • stop-all.sh 调用 stop-dfs.sh和stop-yarn.sh(官方不建议使用)

  • stop-balancer.sh 停止balancer

  • stop-mapred.sh 停止MapReduce

etc/hadoop

该目录下的配置文件:

  • core-site.xml:Hadoop核心全局配置文件,其他配置文件中引用该文件中定义的属性
    如:在 hdfs-site.xml 、mapred-site.xml 会引用该文件的属性;

  • hadoop-env.sh:Hadoop环境变量。一般需要配置JAVA_HOME

  • hdfs-site.xml:HDFS配置文件,该模板的属性继承于 core-site.xml

  • mapred-site.xml:MapReduce的配置文件,该模板的属性继承于core-site.xml

  • yarn-site.xml:yarn的配置文件,该模板的属性继承于core-site.xml

  • slaves 用于设置所有的slave的名称或IP,每行存放一个。如果是名称,那么设置的slave名称必须在/etc/hosts有IP映射配置


原文出处:https://malaoshi.top/show_1IXWWpMCrem.html