推广

编译安装大数据平台权限管理组件 – Apache Ranger 3.x

iseeyu2年前 (2024-02-21)推广131

image.png

登录成功后,进入到首页,如下:

image.png


Ranger HDFS Plugin安装

解压hdfs plugin的安装包到合适的目录下:

[root@hadoop01 ~]# mkdir /usr/local/ranger-plugin
[root@hadoop01 ~]# tar -zxvf /usr/local/src/ranger/target/ranger-3.0.0-SNAPSHOT-hdfs-plugin.tar.gz -C /usr/local/ranger-plugin
[root@hadoop01 ~]# cd /usr/local/ranger-plugin/
[root@hadoop01 /usr/local/ranger-plugin]# mv ranger-3.0.0-SNAPSHOT-hdfs-plugin/ hdfs-plugin

进入解压后的目录,目录结构如下:

[root@hadoop01 /usr/local/ranger-plugin/hdfs-plugin]# ls
disable-hdfs-plugin.sh  enable-hdfs-plugin.sh  install  install.properties  lib  ranger_credential_helper.py  upgrade-hdfs-plugin.sh  upgrade-plugin.py
[root@hadoop01 /usr/local/ranger-plugin/hdfs-plugin]# 

配置安装选项:

[root@hadoop01 /usr/local/ranger-plugin/hdfs-plugin]# vim install.properties
# 指定ranger admin服务的访问地址
POLICY_MGR_URL=http://192.168.243.142:6080
# 配置仓库配置,可自定义
REPOSITORY_NAME=dev_hdfs
# 配置hadoop的安装目录
COMPONENT_INSTALL_DIR_NAME=/usr/local/hadoop-2.6.0-cdh5.16.2
# 配置hdfs的目录
XAAUDIT.HDFS.HDFS_DIR=hdfs://__REPLACE__NAME_NODE_HOST:8020/ranger/audit
XAAUDIT.HDFS.DESTINATION_DIRECTORY=hdfs://__REPLACE__NAME_NODE_HOST:8020/ranger/audit/%app-type%/%time:yyyyMMdd%

# 配置用户和用户组
CUSTOM_USER=root
CUSTOM_GROUP=root

执行如下脚本开启hdfs-plugin:

[root@hadoop01 /usr/local/ranger-plugin/hdfs-plugin]# ./enable-hdfs-plugin.sh 

如果报如下错误:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang3/StringUtils

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/compress/archivers/tar/TarArchiveInputStream

拷贝缺失的jar包到install/lib/目录下:

[root@hadoop01 /usr/local/ranger-plugin/hdfs-plugin]# cp /usr/local/ranger-3.0.0-SNAPSHOT-admin/ews/lib/commons-lang3-3.3.2.jar ./install/lib/
[root@hadoop01 /usr/local/ranger-plugin/hdfs-plugin]# cp /usr/local/ranger-3.0.0-SNAPSHOT-admin/ews/lib/commons-compress-1.20.jar ./install/lib/

脚本执行成功后,会输出如下内容:

Ranger Plugin for hadoop has been enabled. Please restart hadoop to ensure that changes are effective.

重启Hadoop:

[root@hadoop01 ~]# stop-all.sh 
[root@hadoop01 ~]# start-all.sh

验证权限控制

到Ranger Admin上添加hdfs service,这里的Service Name需与配置文件中的配置所对应上:

image.png

填写相应信息:

image.png

填写完成后,到页面底部点击“Test Connection”测试能否正常连接,确认可以正常连接后点击“Add”完成新增:

image.png

在hdfs中创建一些测试目录和文件:

[root@hadoop01 ~]# hdfs dfs -mkdir /rangertest1
[root@hadoop01 ~]# hdfs dfs -mkdir /rangertest2
[root@hadoop01 ~]# echo "ranger test" > testfile
[root@hadoop01 ~]# hdfs dfs -put testfile /rangertest1
[root@hadoop01 ~]# hdfs dfs -put testfile /rangertest2

然后到Ranger Admin上添加Ranger的内部用户,“Settings” -> “Add New User”,填写用户信息:

image.png

接着添加权限策略,“Access Manager” -> “dev_hdfs” -> “Add New Policy”,配置权限策略所作用的用户、目录等信息:

image.png

拉到底部点击“Add”完成添加后,可以看到新增了一条策略配置:

image.png

回到操作系统,切换到hive用户,测试能否正常读取目录、文件:

[root@hadoop01 ~]# sudo su - hive
上一次登录:一 11月  9 21:08:34 CST 2020pts/3 上
[hive@hadoop01 ~]$ hdfs dfs -ls /rangertest1
Found 1 items
-rw-r--r--   1 root supergroup         12 2020-11-11 16:26 /rangertest1/testfile
[hive@hadoop01 ~]$ hdfs dfs -cat /rangertest1/testfile
ranger test
[hive@hadoop01 ~]$ 

测试写操作,此时会发现能够正常往rangertest1目录添加文件,但往rangertest2目录添加文件就会报错,因为我们只赋予了rangertest1目录的读写权限:

[hive@hadoop01 ~]$ hdfs dfs -put testfile2 /rangertest1
[hive@hadoop01 ~]$ hdfs dfs -put testfile2 /rangertest2
put: Permission denied: user=hive, access=WRITE, inode="/rangertest2":root:supergroup:drwxr-xr-x
[hive@hadoop01 ~]$ 

至此,Ranger对HDFS的权限控制也验证通过了。除此之外,你也可以进行其他的测试,其他组件的ranger plugin也是类似的,在本文中就不一一演示了。

扫描二维码推送至手机访问。

版权声明:本文由西安泽虎代运营发布,如需转载请注明出处。

转载请注明出处https://www.0291.com.cn/post/57598.html

相关文章

这样发外链不容易被管理员删除。

这样发外链不容易被管理员删除。

每个站长都希望他努力发送的永远保留下来,而不是你在前面发送,系统在后面删除,这不仅会打击工作的积极性,也会因为网站外链的不稳定而影响我们的优化工作,所以如何在不被删除的情况下发送外链就成了我们的当务之急。在外链发布平台中,论坛的比例无疑是大的,效果也是明显的。所以今天,我将重点分享一些关于论坛发布外...

2本拥有特殊能量的异能小说,拥有无限力量,称王称霸

2本拥有特殊能量的异能小说,拥有无限力量,称王称霸

每天下班后,站在窗边吹吹秋风再放一首喜欢的歌,这已经是小洁在闭环隔离期间最惬意的事情,当然啦,再配上小洁平时追的小说,那就更美好不过啦!今天小洁给大家分享两部好看的都市异能小说,喜欢的书友们快点刷起来吧!第一部《最后的魔法师》字数:160410小说简介:...

市场调研 l 做好这一营销环节,你就赢过了50% 的竞争对手 ...

市场调研 l 做好这一营销环节,你就赢过了50% 的竞争对手 ...

做好调研,你就赢过了50% 的竞争对手消费者千方百计想买到符合自己需求的完美产品,公司绞尽脑汁想让自己的产品被消费者喜欢,这二者该如何联系起来呢?这时候就看到了市场调研的价值。市场调研可以调查出关于目标市场各类有价值的信息,便于公司开发产品,开展更能吸引消费者的活动。那么具...

直播运营培训课程|视频号运营需要哪些技能?

直播运营培训课程|视频号运营需要哪些技能?

在视频号运营过程中,对于一个账号该如何定位?如何实现账号涨粉?都需要用到哪些技能?一、视频号运营所需技能1、用户分析运营对于创作者,一定要充分了解自己的用户,确定垂直类赛道,用户画像分析尤为重要。只有了解自己的用户才可以更好的针对用户去创作,再此基础上,创作者还可以研究一下...

今日头条被动引流拓客方法,绝招!

今日头条被动引流拓客方法,绝招!

在互联网圈有这样一句话:“粉丝经济的时代,流量为王!”在实际做项目的过程中,很多朋友都会遇到没客源的问题,虽然说项目或者产品很棒,但是要是手上没有潜在的客户那也必然玩不起来。 因此,引流对于做项目或者开公司的老板来说都是头等大事,试想一家公司想要长期存活下去,就得有稳定的业绩,想持续...

淘宝的百宝箱促销有用吗,辅助淘宝店铺开店的是真的吗(淘宝百宝箱推广效果咋样)

淘宝的百宝箱促销有用吗,辅助淘宝店铺开店的是真的吗(淘宝百宝箱推广效果咋样)

有用的,官方的限时折扣只能一个个设置,不能几件一起打折,促销百宝箱能一起打折,中秋节准备到了很多卖家都想做活动,如果你要做几款还是买促销百宝箱吧,还能在宝贝封面设置现价多少,提醒大家有折扣!...

现在,非常期待与您的又一次邂逅

我们努力让每一部企业宣传片和抖音短视频成为商业大片