join
join类似于SQL的inner join操作，返回结果是前面和后面集合中配对成功的，过滤掉关联不上的。
leftOuterJoin
leftOuterJoin类似于SQL中的左外关联left outer join，返回结果以前面的RDD为主，关联不上的记录为空。
rightOuterJoin
rightOuterJoin类似于SQL中的有外关联，返回结果以参数也就是右边的RDD为主，关联不上的记录为空
接下来我们通过SQL与代码相结合的方式，了解一下，如何使用Spark实现连接查询
学生信息表:stu_info(stu_id,stu_name,sex,province),数据如下内容：
1,zhangsan,1,zj 2,lisi,0,gs 3,wangwu,1,bj 4,zhaoliu,0,sh成绩信息score_info(score_id,stu_id,course_name,score_num),数据如下内容：
1,1,yuwen,56 2,1,shuxue,98 3,2,yuwen,76 4,2,shuxue,45 5,3,yuwen,89 6,3,shuxue,99 7,4,yuwen,34 8,4,shuxue,76需求：实现所有科目、成绩对应的学生姓名、性别、省份
现在我们用Sql来描述一下我们想要的功能：
select stu.stu_id,stu.stu_name,stu.sex,stu.province,score.cource_name,score.score_num from stu_info stu join score_info score on stu.stu_id=score.stu_id如何使用Scala语言调用Spark函数来实现？
val stuData = sc.textFile(args(0)) val scoreData = sc.textFile(args(1)) val stuRdd=stuData.map(line=>{ val cells=line.split(",") (cells(0),(cells(1),cells(2),(3))) }) val scoreRdd=scoreData.map(line=>{ val cells=line.split(",") (cells(1),(cells(2),cells(3))) }) val failedScoreRdd = scoreData.map(line => { val cells = line.split(",") (cells(0).toInt, cells(1).toInt, cells(2), cells(3).toInt) }).filter(line=>line._4<60) val joinRdd=stuRdd.join(scoreRdd) joinRdd.map(rdd=>{ val stu=rdd._2._1 val score=rdd._2._2 (rdd._1,stu._1,stu._2,stu._3,score._1,score._2) }) joinRdd.repartition(1).saveAsTextFile(args(2))查看输出文件：
(4,zhaoliu,0,3,yuwen,34) (4,zhaoliu,0,3,shuxue,76) (2,lisi,0,3,yuwen,76) (2,lisi,0,3,shuxue,45) (3,wangwu,1,3,yuwen,89) (3,wangwu,1,3,shuxue,99) (1,zhangsan,1,3,yuwen,56) (1,zhangsan,1,3,shuxue,98)以上为标准非格式化输出，调整代码如下：
val joinRdd=stuRdd.join(scoreRdd).map(rdd=>{ val stu=rdd._2._1 val score=rdd._2._2 s"${rdd._1},${stu._1},${stu._2},${stu._3},${score._1},${score._2}" })输出信息如下：
4,zhaoliu,0,3,yuwen,34 4,zhaoliu,0,3,shuxue,76 2,lisi,0,3,yuwen,76 2,lisi,0,3,shuxue,45 3,wangwu,1,3,yuwen,89 3,wangwu,1,3,shuxue,99 1,zhangsan,1,3,yuwen,56 1,zhangsan,1,3,shuxue,98说明： 通过s""来进行字符串拼接，中间变量可用${变量名}来进行格式化输出 需求：查询未及格信息
select stu.stu_id,stu.stu_name,stu.sex,stu.province,score.cource_name,score.score_num from stu_info stu join score_info score on stu.stu_id=score.stu_id where score.score_num <60Scala代码如下：
val stuRdd=stuData.map(line=>{ val cells=line.split(",") (cells(0),(cells(1),cells(2),(3))) }) val scoreRdd=scoreData.map(line=>{ val cells=line.split(",") (cells(1),(cells(2),cells(3))) }).filter(rdd=>{rdd._2._2.toInt<60}) val joinRdd=stuRdd.join(scoreRdd).map(rdd=>{ val stu=rdd._2._1 val score=rdd._2._2 s"${rdd._1},${stu._1},${stu._2},${stu._3},${score._1},${score._2}" })输出信息如下：
1,zhangsan,1,3,yuwen,56 4,zhaoliu,0,3,yuwen,34 2,lisi,0,3,shuxue,45
本文版权归https://www.mulhyac.com所有，转载请注明出处.
网址：https://www.mulhyac.com
标签：SparkSQLSparkHadoop
