hadoop-MR任务报错:org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error while initializing

    技术2022-07-11  142

    yarn的运行报错:初始化运行报错

    介绍:我的一个MR任务,运行失败,查看运行日志,错误如下: mapreduce.Job: Job job_1591237623212_1255 failed with state FAILED due to: Application application_1591237623212_1255 failed 2 times due to AM Container for appattempt_1591237623212_1255_000002 exited with exitCode: -1000 不是太懂,在网上查了好多,说是需要配置输入、输出文件输入限制和配置读入的数据块大小,等相关配置 公司的集群,已经运行很长时间了,先关配置都是固定好的。这个任务也是运行好长时间突然出问题。 所以我就去下载了这个任务的yarn 运行日志,里面一个很明显的错误: org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error while initializing 说是yarn运行,初始化容器失败 当我仔细往上翻后发现一个WARN: org.apache.hadoop.ipc.Client: Exception encountered while connecting to the server : java.net.SocketTimeoutException: 60000 millis timeout while waiting

    说的是我们的client连接server时,发生超时异常,导致任务的初始化失败!从而直接导致任务MR任务运行FAILED

    总结:(对于MR的一些运行FAILED任务) 1,查看web界面,发现任务运行失败FAILED 2,首先查看任务的运行日志,(无明显的显示错误) 3,查看任务在yarn上的日志。 4,再处理相关的错误

    Processed: 0.019, SQL: 9