Hadoop体系架构概述

Hadoop概述

• 基于Apache基金会下的一个开源项目，致力于开发一个可靠的、大规模的分布式计算框架
• 用户可采用简单的计算模型在计算机集群下对大规模的数据进行分布式处理
• 设计理念之一是扩展单一的服务器为成千上万机器的集群，且集群中每一个机器同时提供本地计算力和存储力
• Hadoop框架是在应用层检测和处理硬件失效问题，而不是依赖于硬件自身来维持高可用性。
• 在Hadoop框架集群中硬件失效被认为是一种常态，集群的高可用性服务是建立在整个集群之上的

Hadoop整体框架

• 分布式文件系统（Hadoop Distributed File System，HDFS）
• 并行计算模型（Map/Reduce）
• 列式数据库（HBase）
• 数据仓库（Hive）
• 数据分析语言（Pig）
• 数据格式转化工具（Sqoop）
• 协同工作系统（Zookeeper）
• 数据序列化系统（Avro）

Hadoop整体框架下特点

• Hadoop主要在多节点集群环境下
• 以数据存储为基础
• 最大限度兼容结构化数据格式
• 以数据处理为目的
• 且其数据操作技术多样化