HDFS分布式文件系统架构

阅读量：124 次

发布时间：2019-02-26

本文共 1860 字，大约阅读时间需要 6 分钟。

HDFS?????????

HDFS????

?????????????????????????????????????????????????????????????????????????????????

??????????????????????

???????????????????????????????

??????????????????????????????????

????????????????????????????????????????????????????????????????????????????????

??????

??????????????

FAT???Windows??????????????????

NTFS?Windows NT???????????????????

exFAT?????????????????????

EXT/EXT4?Linux??????????????????

HDFS??????

HDFS?Hadoop Distributed FileSystem????Google GFS???????????????????????????????????????????????????????

HDFS????????????????????????????????WORM?????????????????????????????????

HDFS????

HDFS??????????

NameNode????????????????????????????????

DataNode?????????????????????????????????

Client????????????NameNode?DataNode???????

NameNode??

NameNode?????????????Editlog???????Fsimage?????????????NameNode??????Editlog??64MB??????????????????????????

DataNode??

DataNode??????????????128MB???????????Fsimage?????DataNode???????NameNode??????????????

Client??

Client????HDFS??????DistributedFileSystem???NameNode?DataNode??????????JDBC?ODBC???????????????

HDFS????

?????HA?

HDFS??Zookeeper??HA???????NameNode??????JN?JournalNode??????Editlog????????????

????

HDFS??????????????????????0?2?4????????????????????????????

??????

???????????Fsimage???????????????????????????????????????????????

??????

Client?NameNode??RPC??????????

Client??FSDataOutputStream??????????

DataNode????????????????

??????NameNode?????????????

??????

Client?NameNode???????????????

Client??DFSInputStream?????????DataNode?????????

??????Client??????????

HDFS????

??????????

????????????????????????????????????????????????????????

???Federation?

Federation???????NameSpace?BlockPool????????????????ClientSideMountTable???????????????????

??????

HDFS????????????????????????????????????????????

???????HDFS?????????????????????????????????

转载地址：http://vxoy.baihongyu.com/

你可能感兴趣的文章

NutUI：京东风格的轻量级 Vue 组件库

查看>>

NutzCodeInsight 2.0.7 发布，为 nutz-sqltpl 提供友好的 ide 支持

查看>>

NutzWk 5.1.5 发布，Java 微服务分布式开发框架

查看>>

NUUO网络视频录像机 css_parser.php 任意文件读取漏洞复现

查看>>

NUUO网络视频录像机 upload.php 任意文件上传漏洞复现

查看>>

Nuxt Time 使用指南

查看>>

NuxtJS 接口转发详解：Nitro 的用法与注意事项

查看>>

NVDIMM原理与应用之四:基于pstore 和 ramoops保存Kernel panic日志

Nvidia Cudatoolkit 与 Conda Cudatoolkit

查看>>

NVIDIA GPU 的状态信息输出，由 `nvidia-smi` 命令生成

查看>>

nvidia 各种卡

查看>>

Nvidia 系列显卡大解析 B100、A40、A100、A800、H100、H800、V100 该如何选择，各自的配置详细与架构详细介绍，分别运用于哪些项目场景

查看>>

NVIDIA-cuda-cudnn下载地址