hadoop3.x 介绍

摘自:百度百科

介绍

Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop是一个能够对大量数据进行分布式处理的软件框架。

Hadoop的框架最核心的是:

  • HDFS(Hadoop Distributed File System):为海量的数据提供了存储
  • MapReduce:为海量的数据提供并行计算
  • Yarn:资源调度平台,负责为 MapReduce 等程序分配 CPU、内存等资源

广泛来说,是hadoop生态圈

官网

https://hadoop.apache.org/

文档
http://hadoop.apache.org/docs/r3.0.3/

起源

  1. Hadoop起源于Apache Nutch项目,始于2002年,是Apache Lucene的子项目之一

  2. 2004年,Google发表关于 MapReduce 的论文

  3. Doug Cutting等人受到启发,开始尝试实现 MapReduce 计算框架,并将它与NDFS(Nutch Distributed File System)结合

  4. 2006年2月,由于NDFS和MapReduce在Nutch引擎中有着良好的应用,成为独立的软件,被命名为Hadoop

  5. 2008年年初,hadoop已成为Apache的顶级项目,包含众多子项目,已经成为生态

优点

Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理 。

  • Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理 。

  • Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度

  • Hadoop 还是可伸缩的,能够处理 PB 级数据

  • 成本低,可由一般的机器组成的服务器集群

下载

https://hadoop.apache.org/releases.html

https://archive.apache.org/dist/hadoop/common/


原文出处:/show_1IXVarfH77I.html