hadoop3.x HDFS读数据流程

    1. 客户端通过 FileSystem.open() 向NameNode请求下载文件,NameNode 通过元数据,获得 block 所在的 DataNode1 位置。

    2. 通过 DFSInputStream.read() 请求最近的 DataNode1,将要读取 block1

    3. DataNode1 开始传输数据给客户端,传输 block1 完成,关闭 DataNode1 的连接

    4. 接着请求 读取 block2,以此类推

    5. 全部读取完,调用 DFSInputStream.close()

    感谢:
    https://blog.csdn.net/u014470581/article/details/51461540
    https://www.cnblogs.com/dummyly/p/10080286.html


    原文出处:http://malaoshi.top/show_1IXan5dvxXD.html