Spark 去掉前几行 & 去掉表头

前言

在运行例子的时候. 遇到需要去除表头的情况. 将一般的几种做法记录于此.

文件 班级ID 姓名 年龄 性别 科目 成绩 12 张三 25 男 chinese 50 12 张三 25 男 math 60 12 张三 25 男 english 70 12 李四 20 男 chinese 50 12 李四 20 男 math 50 12 李四 20 男 english 50 12 王芳 19 女 chinese 70 12 王芳 19 女 math 70 12 王芳 19 女 english 70 13 张大三 25 男 chinese 60 13 张大三 25 男 math 60 13 张大三 25 男 english 70 13 李大四 20 男 chinese 50 13 李大四 20 男 math 60 13 李大四 20 男 english 50 13 王小芳 19 女 chinese 70 13 王小芳 19 女 math 80 13 王小芳 19 女 english 70

---

相关操作-个人选择

去除第一行 # 使用textFile读取整个文件. JavaRDD<String> examLinesRDD = SeanSparkConfig.sparkContext.textFile(SeanSparkConfig.exameDateFilePath); # 读取文件第一行 String firstLine = examLinesRDD.first(); JavaRDD<Student> studentRDD;studentRDD = examLinesRDD. filter(line -> !line.equals(firstLine)). // 去除第一行表头

其实使用filter()算子过滤我们需要抛弃的行是最容易的操作.

---

其余相关操作(参考1)

参考1

delcomments = ["嗯嗯嗯嗯", "啦啦啦", "买买买买"] def delcom(line): for i in delcomments: if i in line: return 1 return 0 comment = comment.filter(lambda line: delcom(line) != 1)

如何删掉rdd中的某几行数据？

---

参考2

# 使用zipWithIndex算子 rdd.zipWithIndex().filter(_._2>=n).keys // n换成对应的第几列即可

Spark RDD去掉前n行数据

---

参考3-比较详细

方法1-zipWithIndex 索引法. val path = "files/data.txt" val rdd = sc.textFile(path) println("分区数：" + rdd.getNumPartitions) val rdd1 = rdd.zipWithIndex() //过滤掉索引小于等于2的 val rdd2 = rdd1.filter(_._2 > 2) rdd1.foreach(println) println("**********分割线***********") rdd2.map(kv => kv._1).foreach(println)

根据统计. 其与分片无关. 但是当数据量过多时, 加索引产生性能问题.

方法2-take/fileter 法 val path = "files/data.txt" val rdd = sc.textFile(path, 8) println("分区数：" + rdd.getNumPartitions) //前三条 val arr = rdd.take(3) //过滤掉arr里的数据 val rdd3 = rdd.filter(!arr.contains(_)) rdd3.foreach(println) 方法3-Linux相关命令 # 查询原文件 cat data.txt # 新建覆盖文件 tail -n+4 data.txt > data_new.txt # 替换 mv data_new.txt data.txt

文件过大可能会有问题？

如何解决spark开发中遇到需要去掉文件前几行数据的问题

---

总结

其实思路非常简单. 查询出你需要过滤的数据, 使用filter算子进行过滤即可. 对于不同分片上的数据. 你可以考虑写死代码的方式. 即String toFilter="姓名 年龄 ID 性别"; rdd.filter(str->!str.equals(toFilter)). 还有一点值得注意的是, 使用equals替换==. 因为多个Executor的情况下, 是在不同JVM中的.