您现在的位置:e-works > 智造书屋 > 书籍列表 > Hadoop HDFS深度剖析与实践

Hadoop HDFS深度剖析与实践

查看您的阅读历史
Hadoop HDFS深度剖析与实践
  • 类别:
    先进制造技术
    | 关键字:
    HDFS 
  • 本书以Hadoop HDFS为载体,介绍了构建一款分布式系统(尤其是存储方向)所需的核心技术,所有内容均基于当前较新的3.3.x/3.4.x版本,分别从理论和实践两个维度逐一阐述。本书主要包括两篇:核心原理篇介绍了HDFS的诞生历史、元数据及Block管理、节点间通信机制、读写数据流程和高可用实现原理等;拓展与实践篇从实际出发,充分考虑了用户在应用过程中会遇到的痛点,详细介绍了集群拓展方法、数据分层存储、集群维护与多租户实施等实践经验。
  • 作者:
    祝江华
    出版社:
    机械工业出版社
    出版时间:
    2023年5月
    定价:
    ¥99.00
    京东价:¥69.30
    版权说明:
    授权连载 不得转载
作者简介
祝江华,大数据技术专家。多年来一直供职于头部互联网公司,积累了较为丰富的大数据行业一线研发和集群维护经验;热爱开源,长期活跃在Apache开源社区,对包括Hadoop生态在内的多款组件有过深入研究;分布式技术极客,擅长分布式存储方向,同时对大数据计算、数据湖等也有丰富实战经验。

1HDFS历史延展

  • 第一节 监控、多租户和数据湖
  • 第二节 HDFS设计及实现思想
  • 第三节 小结

2元数据架构

  • 第一节 内存Tree设计
  • 第二节 FsImage和Edit Log
  • 第三节 meta更新
  • 第四节 小结

3数据管理

  • 第一节 Namespace
  • 第二节 Slave节点
  • 第三节 Topology(Rack) Awareness
  • 第四节 小结

4Block与副本

  • 第一节 理解Block
  • 第二节 Block状态管理
  • 第三节 副本状态管理
  • 第四节 Block管理
  • 第五节 副本策略
  • 第六节 小结

5通信与访问

  • 第一节 HDFS RPC
  • 第二节 文件写入
  • 第三节 数据访问
  • 第四节 小结

6HA和QJM

  • 第一节 HA发展路径
  • 第二节 Quorum Journal Manager
  • 第三节 HA原理
  • 第四节 小结

7缓存

  • 第一节 分布式系统缓存设计
  • 第二节 集中式缓存管理
  • 第三节 缓存实践场景及改进
  • 第四节 小结

8集群拓展

  • 第一节 水平拓展
  • 第二节 垂直伸缩
  • 第三节 多Namespace业务规划
  • 第四节 小结

9数据分层

  • 第一节 存储分层的意义
  • 第二节 HDFS存储分层
  • 第三节 纠删码(Erasure Coding)
  • 第四节 数据迁移
  • 第五节 小结

10监控、多租户和数据湖

  • 第一节 大数据监控
  • 第二节 多租户与认证
  • 第三节 HDFS与Data Lakes
  • 第四节 小结