在提交作业的时候出现了以下的异常信息：[code lang="scala"]2015-05-05 11:09:28,071 INFO [Driver] - Attempting to load checkpoint from file hdfs://iteblogcluster/user/iteblog/checkpoint2/checkpoint-14307949860002015-05-05 11:09:28,076 WARN [Driver] - Error reading checkpoint from file hdfs://iteblogcluster/user/iteblog/checkpoint2/checkpoint-1430794986000java.io.InvalidClassException: org.apache.spark.streaming w397090770 9年前 (2015-05-10) 18729℃ 0评论7喜欢
在几年前，Oracle宣布不再维护Java 6的更新（看这里http://www.computerworld.com/article/2494112/application-security/oracle-to-stop-patching-java-6-in-february-2013.html），那么Java 6发现的新bug Oracle公司也就不再会去修改，这对用户来说就是不好的消息。 在前几天发布的Hadoop 2.7.0 （《Hadoop 2.7.0发布：不适用于生产和不支持JDK1.6》）中的一个重要的 w397090770 9年前 (2015-05-06) 7386℃ 1评论4喜欢
和Hadoop类似，在Spark中也存在很多的Metrics配置相关的参数，它是基于Coda Hale Metrics Library的可配置Metrics系统，我们可以通过配置文件进行配置，通过Spark的Metrics系统，我们可以把Spark Metrics的信息报告到各种各样的Sink，比如HTTP、JMX以及CSV文件。Spark的Metrics系统目前支持以下的实例：master：Spark standalone模式的master进程；worker：S w397090770 9年前 (2015-05-05) 14129℃ 0评论15喜欢
上海Spark Meetup第四次聚会将于2015年5月16日在小沃科技有限公司（原中国联通应用商店运营中心）举办。本次聚会特别添加了抽奖环节，凡是参加了问卷调查并在当天到场的同学们都有机会中奖。奖品由英特尔亚太研发有限公司赞助。大会主题 Opening Keynote 沈洲 小沃科技有限公司副总经理，上海交通大学计算机专 w397090770 9年前 (2015-05-05) 3452℃ 0评论2喜欢
一、活动时间 5月10日下午14:00-18:00二、活动地点北京市海淀区丹棱街5号 微软亚太研发集团总部大厦1号楼1层 地图: http://j.map.baidu.com/yVWh0三、活动内容: 1、鲁小亿 美国俄亥俄州立大学计算机科学与工程系 Senior Research Associate，演讲主题：<spark & RDMA> 2、董旭 滴滴打车 高级软件工程师，高性能计算负责 w397090770 9年前 (2015-05-05) 2942℃ 0评论6喜欢
在之前的博文中，我们回顾和总结了2014年Spark在性能提升上所做的努力。本篇博文中，我们将为你介绍性能提升的下一阶段——Tungsten。在2014年，我们目睹了Spark缔造大规模排序的新世界纪录，同时也看到了Spark整个引擎的大幅度提升——从Python到SQL再到机器学习。 Tungsten项目将是Spark自诞生以来内核级别的最大改动，以 w397090770 9年前 (2015-05-04) 4791℃ 1评论4喜欢
《Spark Streaming作业提交源码分析接收数据篇》、《Spark Streaming作业提交源码分析数据处理篇》 在昨天的文章中介绍了Spark Streaming作业提交的数据接收部分的源码（《Spark Streaming作业提交源码分析接收数据篇》），今天来介绍Spark Streaming中如何处理这些从外部接收到的数据。 在调用StreamingContext的start函数的时候， w397090770 9年前 (2015-04-29) 4334℃ 2评论9喜欢
《Spark Streaming作业提交源码分析接收数据篇》、《Spark Streaming作业提交源码分析数据处理篇》 最近一段时间在使用Spark Streaming，里面遇到很多问题，只知道参照官方文档写，不理解其中的原理，于是抽了一点时间研究了一下Spark Streaming作业提交的全过程，包括从外部数据源接收数据，分块，拆分Job，提交作业全过程。 w397090770 9年前 (2015-04-28) 9179℃ 2评论9喜欢
由CSDN主办OpenCloud 2015大会于4月16日-18日在国家会议中心成功举办。“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会”三大峰会及三场深度行业实战培训赢得了讲师和听众们高度认可，40余位一线专家的深度主题演讲赢得阵阵掌声。 2015 spark技术峰会.pushed{color:#f60;}时间议题演讲者09: w397090770 9年前 (2015-04-28) 7530℃ 0评论2喜欢
Spark Streaming提供了高效便捷的流式处理模式，但是在有些场景下，使用默认的配置达不到最优，甚至无法实时处理来自外部的数据，这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样，所以我们无法设置一些通用的配置（要不然Spark Streaming开发者就不会弄那么多参数，直接写死不得了），我们需 w397090770 9年前 (2015-04-27) 26878℃ 0评论34喜欢
