欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:978
  2. 浏览总数:11,958,234
  3. 评论:3937
  4. 分类目录:106 个
  5. 注册用户数:6120
  6. 最后更新:2018年12月15日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

Hortonworks上运行Spark on YARN异常解决

我使用的是Spark 1.5.2和HDP 2.2.4.8,在启动spark-shell的时候出现了以下的异常:

[itebog@www.iteblog.com ~]$ bin/spark-shell --master yarn-client
...

at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

:10: error: not found: value sqlContext
      import sqlContext.implicits._
:10: error: not found: value sqlContext
       import sqlContext.sql

你打开Application Master的日志时,你也可以看到如下的异常:

Log Type: stderr
Log Upload Time: Tue Jan 14 14:50:25 -0800 2016
Log Length: 87
Error: Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher

解决这个问题你可以通过修改spark-defaults.conf,具体如下:

spark.driver.extraJavaOptions -Dhdp.version=current
spark.yarn.am.extraJavaOptions -Dhdp.version=current

然后再启动spark-shell

[itebog@www.iteblog.com ~]$ bin/spark-shell --master yarn-client
...

16/01/14 15:23:10 INFO repl.SparkILoop: Created sql context (with Hive support)..
SQL context available as sqlContext.

scala>
本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Hortonworks上运行Spark on YARN异常解决】(https://www.iteblog.com/archives/1564.html)
喜欢 (2)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!