SchemaRDD在Spark SQL中已经被我们使用到，这篇文章简单地介绍一下如果将标准的RDD(org.apache.spark.rdd.RDD)转换成SchemaRDD，并进行SQL相关的操作。scala> val sqlContext = new org.apache.spark.sql.SQLContext(sc)sqlContext: org.apache.spark.sql.SQLCo...... w397090770 11年前 (2014-12-16) 21280℃ 0评论20喜欢
《Spark on YARN集群模式作业运行全过程分析》 《Spark on YARN客户端模式作业运行全过程分析》 《Spark:Yarn-cluster和Yarn-client区别与联系》 《Spark和Hadoop作业之间的区别》 《Spark Standalone模式作业运行全过程分析》（未发布） 我们都...... w397090770 11年前 (2014-12-15) 58515℃ 4评论94喜欢
目前关于Spark方面的书籍已经有好几本了，这里列出了下面关于Spark 的书籍。部分书目前还没有发布，所以无法提供下载地址。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop如果你要找Hadoop相关书籍，可以看这里《精心收集的Ha...... w397090770 11年前 (2014-12-08) 36194℃ 3评论58喜欢
这是Spark北京Meetup第四次活动，主要是SparkSQL专题。可以在这里报名，活动免费。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop活动时间 12月13日下午14:00活动地点 地址：淀区中关村软件园二期，西北旺东路10号...... w397090770 11年前 (2014-12-02) 5053℃ 0评论3喜欢
在Wordpress后台的设置->阅读->博客页面至多显示里面可以设置每页最多显示的文章数目，但是那个设置只能将所有的类别（首页、分类目录页、标签页、作者页）显示的文章数都设置成一个值。 但是在开发Wordpress主题的时候，有些需求需要修改不同类别的每页显示的文章...... w397090770 11年前 (2014-11-30) 6392℃ 0评论7喜欢
Spark 1.1.1于美国时间的2014年11月26日正式发布。基于branch-1.1分支，主要修复了一些bug。推荐所有的1.1.0用户更新到这个稳定版本。本次更新共有55位开发者参与。 spark.shuffle.manager仍然使用Hash作为默认值，说明了SORT的Shuffle还不怎么成熟。等待1.2版本吧...... w397090770 11年前 (2014-11-28) 3405℃ 0评论5喜欢
从上周开始，我博客就经常出现了Bad Request (Invalid Hostname)错误，询问网站服务器商只得知网站的并发过高，从而被服务器商限制网站访问。可是我天天都会去看网站的流量统计，没有一点异常，怎么可能会并发过高？后来我查看了一下网站的搜索引擎抓取网站的日志，发现...... w397090770 11年前 (2014-11-14) 3300℃ 0评论6喜欢
每次当你在Yarn上以Cluster模式提交Spark应用程序的时候，通过日志我们总可以看到下面的信息：21 Oct 2014 14:23:22,006 INFO [main] (org.apache.spark.Logging$class.logInfo:59) - Uploading file:/home/spark-1.1.0-bin-2.2.0/lib/spark-assembly-1.1.0-hado...... w397090770 11年前 (2014-11-10) 11038℃ 2评论12喜欢
我们在编写Spark Application或者是阅读源码的时候，我们很想知道代码的运行情况，比如参数设置的是否正确等等。用Logging方式来调试是一个可以选择的方式，但是，logging方式调试代码有很多的局限和不便。今天我就来介绍如何通过IDE来远程调试Spark的Application或者是Spar...... w397090770 11年前 (2014-11-05) 24107℃ 16评论21喜欢
《Spark on YARN集群模式作业运行全过程分析》《Spark on YARN客户端模式作业运行全过程分析》《Spark:Yarn-cluster和Yarn-client区别与联系》《Spark和Hadoop作业之间的区别》《Spark Standalone模式作业运行全过程分析》（未发布） 在前篇文章中我介绍了Spark o...... w397090770 11年前 (2014-11-04) 19658℃ 5评论12喜欢
![Spark学习书籍收集[持续更新]](https://www.iteblog.com/pic/iteblog.png)
