Spark问题记录

    技术2024-05-20  77

    问题1

    问题描述 项目中使用CDH 5.8,在测试环境上使用 spark-sql 将数据写到Mysql 时,一直报错如下 java.lang.ClassNotFoundException: com.mysql.jdbc.Driver

    根据错误应该是Mysql 问题,两种可能

    存在节点上没有 MySQL驱动 Jar Jar 路径未指定对

    由于我对测试环境集群组件配置不了解,于是去 CM上看了一下Spark的配置,几乎都没有找到 驱动包,于是给每个节点下这两个路径放置了Jar /opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/jars/,/opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/lib/hadoop-yarn/ 提交参数: --jars /opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/jars/mysql-connector-java.jar --driver-class-path /opt/cloudera/parcels/CDH-5.8.4-1.cdh5.8.4.p0.5/jars/mysql-connector-java.jar

    完整参数如下

    spark2-submit \ --num-executors 2 \ --executor-memory 2g \ --executor-cores 2 \
    Processed: 0.011, SQL: 9