欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:961
  2. 浏览总数:11,488,234
  3. 评论:3873
  4. 分类目录:103 个
  5. 注册用户数:5844
  6. 最后更新:2018年10月17日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

用Maven编译Spark 1.1.0

  Spark 1.1.0已经在前几天发布了(《Spark 1.1.0发布:各个模块得到全面升级》《Spark 1.1.0正式发布》),本博客对Hive部分进行了部分说明:《Spark SQL 1.1.0和Hive的兼容说明》《Shark迁移到Spark 1.1.0 编程指南》,在这个版本对Hive的支持更加完善了,如果想在Spark SQL中加入Hive,并加入JDBC server和CLI,我们可以在编译的时候通过加上参数将hive方面的特性打包到Spark源码中。可以用下面的命令进行编译。


如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop
# Apache Hadoop 2.4.X with Hive support
mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -DskipTests clean package

  如果你用的是sbt,你也可以直接加上-Phive参数。Spark 1.1.0默认的是依赖Hive 0.12.0。关于详细的Spark Maven编译命令可以参照本博客《用Maven编译Spark 1.0.0源码以错误解决》
  当然,在下载下来的Spark源码中的同一级目录下有个make-distribution.sh脚本,这个脚本可以打包Spark的发行包,make-distribution.sh文件其实就是调用了Maven进行编译的,可以通过下面的命令运行:

./make-distribution.sh --tgz -Phadoop-2.2 -Pyarn -DskipTests -Dhadoop.version=2.2.0 -Phive

  编译的过程中可能需要很长的时间,需要慢慢的等待,如果你看到下面的输出信息,那恭喜你,编译成功了!

[WARNING] See http://docs.codehaus.org/display/MAVENUSER/Shade+Plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Spark Project Parent POM .......................... SUCCESS [3:12.329s]
[INFO] Spark Project Core ................................ SUCCESS [4:49.088s]
[INFO] Spark Project Bagel ............................... SUCCESS [19.565s]
[INFO] Spark Project GraphX .............................. SUCCESS [1:20.401s]
[INFO] Spark Project Streaming ........................... SUCCESS [1:09.413s]
[INFO] Spark Project ML Library .......................... SUCCESS [1:48.712s]
[INFO] Spark Project Tools ............................... SUCCESS [14.620s]
[INFO] Spark Project Catalyst ............................ SUCCESS [1:14.372s]
[INFO] Spark Project SQL ................................. SUCCESS [1:23.813s]
[INFO] Spark Project Hive ................................ SUCCESS [2:06.349s]
[INFO] Spark Project REPL ................................ SUCCESS [36.802s]
[INFO] Spark Project YARN Parent POM ..................... SUCCESS [5.664s]
[INFO] Spark Project YARN Stable API ..................... SUCCESS [34.322s]
[INFO] Spark Project Assembly ............................ SUCCESS [42.193s]
[INFO] Spark Project External Twitter .................... SUCCESS [22.767s]
[INFO] Spark Project External Kafka ...................... SUCCESS [30.759s]
[INFO] Spark Project External Flume Sink ................. SUCCESS [40.095s]
[INFO] Spark Project External Flume ...................... SUCCESS [25.221s]
[INFO] Spark Project External ZeroMQ ..................... SUCCESS [25.414s]
[INFO] Spark Project External MQTT ....................... SUCCESS [32.147s]
[INFO] Spark Project Examples ............................ SUCCESS [1:24.143s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 23:58.722s
[INFO] Finished at: Wed Sep 17 15:17:04 CST 2014
[INFO] Final Memory: 107M/1316M
[INFO] ------------------------------------------------------------------------
本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【用Maven编译Spark 1.1.0】(https://www.iteblog.com/archives/1131.html)
喜欢 (9)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!
(8)个小伙伴在吐槽
  1. 谢谢,我想问一下,Spark1.3.0 mvn重新编译时,能加-Phadoop=2.6 -Phadoop.version=2.6.0吗?
    陶尘封2015-09-25 10:49 回复
    • 必须可以的,这个得看你具体情况再选择不同的Hadoop版本。
      w3970907702015-09-25 10:53 回复
  2. 不需要翻墙就可以???
    test2014-09-21 16:40 回复
    • 不需要,直接编译即可。
      w3970907702014-09-23 11:53 回复
  3. Test 😛 我擦
    1112014-09-17 19:01 回复
    • 哈哈哈哈哈哈 Just a test!!!!!!!
      w3970907702014-09-17 19:31 回复
    • mail test速度
      w3970907702014-09-23 11:53 回复