• 欢迎访问显哥博客,本网站纯属学习技术,绝无商业用途,欢迎小伙伴们共同学习!研究技术!QQ:52249909 加我QQ
  • 世界75亿人,这么小的概率,能认识你,是我一生的幸运,不妨加个QQ接触一下:52249909 加我QQ

HDFS简介

云计算 lixian 5年前 (2019-10-25) 20906次浏览 1个评论 扫描二维码
文章目录[隐藏]

HDFS概述—–基本特征

  • 基于商用硬件环境
  • HDFS具有高容错性,并且被部署在廉价的硬件之上
  • HDFS向应用程序提供高的数据吞吐访问,适合于需要处理大规模海量数据集的应用
  • HDFS遵循部分POSIX协议要求,可以确保应用程序以流的方式访问文件系统数据
  • HDFS的对现实应用环境的假设及其目标

  • 硬件失效
  • 流式数据访问
  • 海量数据集
  • 追加写入及文件同步
  • “移动计算比移动数据的代价小”
  • 跨异构硬件和软件平台的可移植性
  • HDFS架构

    HDFS简介

  • 主从(Master/Slave)体系结构
  • 只含有一个NameNode主服务节点这个节点管理文件系统中的命名空间和调度客服端对文件的访问
  • 通常一个机器就是一个DataNode数据节点,DataNode管理本节点上数据的存储
  • 在HDFS内部,一个文件被分割为一个或多个数据块,并且这些数据块被存储在一批DataNode中。
  • NameNode执行文件系统中命名空间的操作(打开、关闭、重命名文件和目录),NameNode需要执行数据块到DataNode映射的决策
  • DataNode负责响应来自客户端的文件读写要求,也要负责执行来自NameNode的关于数据块创建、删除和冗余存储的指令

  • 本站博主 , 版权所有丨如未注明 , 均为原创
    转载请注明原文链接:HDFS简介
    喜欢 (11)

    您必须 登录 才能发表评论!

    (1)个小伙伴在吐槽
    1. After reading your article, it reminded me of some things about gate io that I studied before. The content is similar to yours, but your thinking is very special, which gave me a different idea. Thank you. But I still have some questions I want to ask you, I will always pay attention. Thanks.
      gate.io2023-05-06 04:01