摘自:百度百科
介绍
Hadoop是一个由Apache基金会所开发的分布式系统基础架构,Hadoop是一个能够对大量数据进行分布式处理的软件框架。
Hadoop的框架最核心的是:
- HDFS(Hadoop Distributed File System):为海量的数据提供了存储
- MapReduce:为海量的数据提供并行计算
- Yarn:资源调度平台,负责为 MapReduce 等程序分配 CPU、内存等资源
广泛来说,是hadoop生态圈
官网
文档
http://hadoop.apache.org/docs/r3.0.3/
起源
Hadoop起源于Apache Nutch项目,始于2002年,是Apache Lucene的子项目之一
2004年,Google发表关于 MapReduce 的论文
Doug Cutting等人受到启发,开始尝试实现 MapReduce 计算框架,并将它与NDFS(Nutch Distributed File System)结合
2006年2月,由于NDFS和MapReduce在Nutch引擎中有着良好的应用,成为独立的软件,被命名为Hadoop
2008年年初,hadoop已成为Apache的顶级项目,包含众多子项目,已经成为生态
优点
Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理 。
Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理 。
Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度
Hadoop 还是可伸缩的,能够处理 PB 级数据
成本低,可由一般的机器组成的服务器集群
下载
https://hadoop.apache.org/releases.html
https://archive.apache.org/dist/hadoop/common/