R语言 一遍让你搞定R连接Hive以及hive的可视化工具

    技术2022-07-10  108

    关注微信公共号:小程在线

    关注博客:程志伟的博客

     

    R语言连接Hive、hive的可视化工具

    最重要的就是找对相应的jar,我会在微信公共号上列出详细的jar名称,不必加载所有的jar包。

     

    一、R语言连接Hive

     

    1.设置工作目录,并加载需要的包

    setwd('F:\\00czw\\20200628hive\\') library('rJava') library('DBI') library('RJDBC')

    2.f变量加载的是jar包所在的目录,修改相应的地址,用户名和密码

    f<-list.files("F:\\00czw\\20200628hive", pattern = "jar$", full.names=TRUE) drv<-JDBC("org.apache.hive.jdbc.HiveDriver",f) conn<- dbConnect(drv, sprintf('jdbc:hive2://IP地址:10000/medical_gaomi'),'用户名','密码')

    3.连接好之后,开始读取数据导入R,涉及数据问题,不展示数据样子

    data <-dbGetQuery(conn,"select  * from  test")

    4.关闭连接,每次读取完数据,要关闭连接

    dbDisconnect(conn)

     

    二、hive的可视化工具配置,我在本机以实现

    关于hive的可视化工具配置部分转载于: http://lxw1234.com/archives/2015/09/519.htm

    刚看到一个可以连接Hive的客户端界面工具–SQuirrel SQL Client,试了一下,用起来还行,在这里记录一下安装及使用方法。

    SQuirrel SQL Client是一个用Java写的数据库客户端,用JDBC统一数据库访问接口以后,可以通过一个统一的用户界面来操作MySQL、PostgreSQL、MSSQL、Oracle、Hive等等任何支持JDBC访问的数据库。使用起来非常方便。而且,SQuirrel SQL Client还是一个典型的Swing程序,也算是Swing的一个比较成功的应用了。

    当然,可以在windows中来连接Hive。

    在使用SQuirrel SQL Client链接Hive之前,首先确保HiveServer2服务已经启动,并且有访问权限。

    SQuirrel SQL Client的官网及下载地址为:http://squirrel-sql.sourceforge.net/

    目前最新版本为3.7,可以在http://squirrel-sql.sourceforge.net/#installation页面下载jar包squirrel-sql-3.7-standard.jar

    下载后,双击squirrel-sql-3.7-standard.jar,即可启动安装程序。

    安装到这一步,需要勾选简体中文:

    继续往下,直至安装完毕。从开始菜单中打开SQuirrel SQL Client,点击最左侧的”Drivers”驱动tab页,点击添加(+)来添加Hive的驱动配置:

    在弹出的添加驱动对话框中填入Hive的驱动信息:

    注意:在”Extra Class Path”中,需要加入运行Hive所依赖的jar包,我这里将$HIVE_HOME/lib/下的所有jar包,以及Hadoop的核心jar包,

    还有slf4j的两个jar包都添加进去。最后点击OK确定。

    接着,进入最左侧的”Aliases”别名tab页面,点击添加(+),建立一个Hive的链接:

    在弹出的添加别名对话框中,填入以下信息(Driver选择上面新建的HiveDriver):

    点击OK确定之后,弹出链接对话框:

    点击”Connect”链接Hive。链接成功之后,首页如下:

     

     

    双击左侧的Objects下面的TABLE标签,即可列出Hive中所有的表:

    选中一个表,可以看到该表的概要信息。

    切换到SQL标签页,可以在这里编辑和执行SQL:

     

     

    Processed: 0.044, SQL: 9