HDFS中将普通用户加入到supergroup组来访问HDFS

    技术2022-07-15  69

    本机是linux系统,使用远程的hadoop。程序直接访问hdfs://node1:8020 会有权限问题。

    比较简单的解决粗暴方式是把用户加入到supergroup组。

    Hadoop本身的用户和组的关系,是同步Linux系统中的用户权限,但是HDFS和Linux的超级用户组又有一点差别,HDFS中的超级用户组是supergroup,但是Linux中默认是没有supergoup这个组,这个时候只需要在Linux中增加supergroup这个组,然后将要在HDFS中加入到supergroup中的用户加到这个组中,再同步HDFS用户和组即可。 

    操作步骤如下:

    1、在hadoop节点所在的linux里,新建与本机用户同名的新用户

    useradd admin

    2、在Linux执行如下命令增加supergroup

    groupadd supergroup

    3、如将用户admin增加到supergroup中,再执行:

    usermod -a -G supergroup admin

    4、使用超级管理员账号,同步系统的权限信息到HDFS:

    su - admin -s /bin/bash -c "hdfs dfsadmin -refreshUserToGroupsMappings"

    5、验证

    1) 将/user/hdfs目录的权限由700,修改为770

    su - admin -s /bin/bash -c "hadoop fs -chmod 770 /datapath"

    2) 通过加到supergroup组中的admin用户去列这个目录:

    su - admin -s /bin/bash -c "hadoop fs -ls /datapath"

    可成功列出目录即表示操作成功。

    Processed: 0.013, SQL: 9