自定义udf函数的使用

自定义udf函数的使用 新建df1 和 df2 两个数据源，指定数据源的中的列名和列的类型。用相同列“chanel_id”做关联，进行join outer查询, 在select取值的时候，用自定义的udf函数(get_channel_id)，取两个表中不为空的“channel_id”作为结果集的数据。 用fillna 替换结果集中的null值

from pyspark.sql.functions import udf df1 = spark.createDataFrame([(‘baidu’, 1001), (‘baidu’, 1002), (‘facebook’, 3001)], “channel_id: string, unique_id: int”) df2 = spark.createDataFrame([(‘baidu’, 1, ‘cc’), (‘google’, 1, ‘pp’)], “channel_id: string, day: int, name: string”) print(‘outer’) outer_df = df1.join(df2, df1.channel_id == df2.channel_id, ‘outer’)

outer_df.show() @udf def get_channel_id(a, b): if a is not None: return a if b is not None: return b

outer_df.select(df2.name, df1.unique_id, df2.day, get_channel_id(df1.channel_id, df2.channel_id).alias(‘channel_id’)) .fillna({“unique_id”: 0, “day”: 0, “name”: “”}) .show()

打印结果：

转自博客园小楠木