Toggle navigation
  • 首页
  • 所有教程
  • 导航
  • Python
  • 人工智能
  • JAVA
  • 数据库
  • 前端
  • linux
  • 大数据
  • 技术文章
  • 更多
    • C/C++
    • 软件
    • 大杂烩
    • 硬件
    • 搜索

hadoop3.x HDFS读数据流程

作者:马育民 • 2021-02-14 22:20 • 阅读:10329

  1. 客户端通过 FileSystem.open() 向NameNode请求下载文件,NameNode 通过元数据,获得 block 所在的 DataNode1 位置。

  2. 通过 DFSInputStream.read() 请求最近的 DataNode1,将要读取 block1

  3. DataNode1 开始传输数据给客户端,传输 block1 完成,关闭 DataNode1 的连接

  4. 接着请求 读取 block2,以此类推

  5. 全部读取完,调用 DFSInputStream.close()

感谢:
https://blog.csdn.net/u014470581/article/details/51461540
https://www.cnblogs.com/dummyly/p/10080286.html


原文出处:/show_1IXan5dvxXD.html

hdfs , hadoop

搜索

相关文章

hive 设置内存,否则批量执行SQL会因为内存溢出崩溃
spark3.0教程-SparkSQL:连接MySQL,写入数据,打包后,部署到yarn运行(依赖第三方包)
2026年大数据平台操作系统选型指南:从CentOS替代到信创适配
2026年大数据部署方式:容器主导,混合部署成主流
spark 读取 hive 报错:Permission denied: user=xxx, access=EXECUTE, inode="/tmp":root:supergroup:drwx
不懂数据湖项目?用普通人能听懂的话讲明白
Atlas2.1.0-启动和停止(集群+单机)
flink1.12.x:per-job cluster模式(yarn-cluster)启动程序,按ctrl+c断开客户端后关闭flink任务
flink1.12.x flink list列出 Flink 集群中正在运行的任务
hadoop3.x集群部署-VMware17 克隆虚拟机
吉ICP备15003043号