hadoop到底是什么？

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。

1、用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

2、Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求，可以以流的形式访问(streaming access)文件系统中的数据。

3、Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

Hadoop是Apache开源组织的一个分布式基础框架，提供了一个分布式文件系统 (HDFS)、分布式计算（MapReduce）及统一资源管理框架（YARN）的软件架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。

2006年项目成立的一开始，“Hadoop”只代表了两个组件——HDFS和MapReduce。如今，这个单词代表的是“核心”（即Core Hadoop项目）以及与之相关的一个不断成长的生态系统，包括数据存储、执行引擎、编程和数据访问框架等。和Linux类似，都是由一个核心和一个生态系统组成。网页链接

Hadoop在2006年开始成为雅虎项目，随后晋升为顶级Apache开源项目。它是一种通用的分布式系统基础架构，具有多个组件：Hadoop分布式文件系统(HDFS)，它将文件以Hadoop本机格式存储并在集群中并行化; YARN，协调应用程序运行时的调度程序; MapReduce，这是实际并行处理数据的算法。Hadoop使用Java编程语言构建，其上的应用程序也可以使用其他语言编写。用一个Thrift客户端，用户可以编写MapReduce或者Python代码。

除了这些基本组件外，Hadoop还包括Sqoop，它将关系数据移入HDFS; Hive，一种类似SQL的接口，允许用户在HDFS上运行查询; Mahout，机器学习。除了将HDFS用于文件存储之外，Hadoop现在还可以配置使用S3 buckets或Azure blob作为输入。
它可以在Apache发行版开源，也可以用Cloudera(规模和范围最大的Hadoop供应商)，MapR或HortonWorks等厂商提供。