Hadoop之HDFS上传下载

    技术2022-07-11  83

    上传至HDFS简化流程:

    数据是存储在datanode上,因此客户端上传时需要知道往哪个datanode传输数据,而namenode的作用就是根据一定策略向客户端分配datanode。

    上传时,客户端向datanode请求上传,然后namenode会将datanode的地址发送给客户端,客户端根据地址来上传副本。

     

    从HDFS下载简化流程:

    下载时,客户端向nameNode请求下载,然后nameNode通过查询元数据,找到文件块所在的DataNode地址,发送给客户端,客户端会挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。

    Processed: 0.011, SQL: 9