hive自定义函数UDF案例

一·定义一个可以通过指定格式字符串变成map,然后通过第二个参数作为key,返回key对应的value的方法getValue 示例：

name=zhangsan&age=18&habits=eat

package programmer.homework.day07.work.complex.map; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; import java.util.HashMap; import java.util.Map; @Description (name = "getValue",value = "get the value of the key",extended = "Extended: get the value of the key") public class GetValueUDF extends UDF { //定义一个Map类型的属性，用于接收解析出来的键和值 Map<String,String> infos = new HashMap<>(); /** hive在执行函数的时候会调用下面的方法 */ public String evaluate(String info,String key){ String[] splits = info.split("&"); for(String s : splits){ String[] keyValues = s.split("="); infos.put(keyValues[0],keyValues[1]); } return infos.get(key); } /** * 写个main方法用于测试代码逻辑 */ public static void main(String[] args) { String s = "name=zhangsan&age=18&habits=eat"; GetValueUDF getValueUDF = new GetValueUDF(); System.out.println(getValueUDF.evaluate(s,"name")); } }

执行以上自定义函数的步骤 ①在idea中用maven打成jar包 ②将jar包上传到linux的某个目录下，比如/usr/local/hive/jar/xxx.jar ③进入hive客户端，将jar包添加到class Path路径下,即执行命令 add jar /usr/local/hive/jar/xxx.jar; ④在当前session创建一个临时函数：

create temporary function getValue as '自定义类的包名.类名';

⑤使用select 执行函数

select getValue('name=zhangsan&age=18&habits=eat','name'); -- 返回zhangsan

二.定义一个函数可以通过字符串表现形式的出生日期返回年龄

package programmer.homework.day07.work.complex.birth2; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.Text; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; public class AgeUDF extends UDF { private IntWritable age = new IntWritable(); public static void main(String[] args) { AgeUDF ageUDF = new AgeUDF(); System.out.println(ageUDF.evaluate(new Text("2012-01-12"))); } public IntWritable evaluate(Text date){ java.util.Date dateTime = null; try { SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd"); dateTime = simpleDateFormat.parse(date.toString()); Calendar calendar = Calendar.getInstance(); //当前时间的年月日 int nowYear = calendar.get(Calendar.YEAR); int nowMonth = calendar.get(Calendar.MONTH); int nowDay = calendar.get(Calendar.DAY_OF_MONTH); //将Calendar对象的时间设置为指定的出生日期 calendar.setTime(dateTime); //出生日期的年月日 int birthYear = calendar.get(Calendar.YEAR); int birthMonth = calendar.get(Calendar.MONTH); int birthDay = calendar.get(Calendar.DAY_OF_MONTH); //年龄 int yearDiff = nowYear - birthYear; //根据具体的当前时间的月和日判断是否过了生日 if(nowMonth > birthMonth){ age.set(yearDiff + 1); return age; } if(nowMonth == birthMonth){ if(nowDay >= birthDay){ age.set(yearDiff + 1); return age; } } } catch (ParseException e) { e.printStackTrace(); } return age; } }

在hive客户端执行以上自定义函数：

-- 添加jar包到class Path路径下 add jar /usr/local/hive/jar/getage.jar; -- 在当前session创建临时函数 getage create temporary function getage as 'programmer.homework.day07.work.complex.birth2.AgeUDF'; -- 使用该函数 select getage('2012-12-12'); //返回年龄 -- 方法的参数可以是hive表中的一个字段,birthday是出生日期的字段名，student是表名 select birthday,getage(birthday) as age from student; -- 可以看到左边一列是出生日期，右边一列是年龄

hive中自定义函数的加载方式 三种方式第一步都是把打好的jar包上传到linux服务器上，jar包的名称如果不好记，可以改个名 ①方式一，纯命令 在hive客户端中依次输入以下命令：

add jar jar包绝对路径; create temporary function functionName as '定义的函数的类全限定名'; -- 查看临时函数是否创建成功,能看到自己定义的函数说明创建成功，注意创建的函数只在当前shell窗口有效 show functions;

②方式二，启动参数加载

-- 进入linux中的hive目录下(此时不是在hive客户端中) cd /usr/local/hive; vi ./hive-init; -- 在hive-init文件中添加以下两个命令 add jar jar包的路径; create temporary function functionName as '定义方法的类的全限定名'; -- wq保存后退出，执行以下命令，在启动hive客户端的同时，初始化hive-init文件 hive -i ./hive-init;

③方式三，配置文件加载，通过这种方式，只要启动hive,就会加载这个函数

-- 进入linux系统中的hive目录下(此时不是在hive客户端中) cd /usr/local/hive; -- 进入./bin/.hiverc文件，即使没有会创建，加入两句命令 add jar jar包的路径; create temporary function functionName as '定义方法的类的全限定名'; -- 启动hive hive