Apache Spark是快速的通用集群计算系统。它在Java、Scala以及Python等语言提供了高层次的API，并且在通用的图形计算方面提供了一个优化的引擎。同时，它也提供了丰富的高层次工具，这些工具包括了Spark SQL、结构化数据处理、机器学习工具(MLlib)、图形计算(GraphX)以及...... w397090770 11年前 (2014-09-18) 3632℃ 0评论6喜欢
Spark 1.1.0已经在前几天发布了（《Spark 1.1.0发布:各个模块得到全面升级》、《Spark 1.1.0正式发布》），本博客对Hive部分进行了部分说明：《Spark SQL 1.1.0和Hive的兼容说明》、《Shark迁移到Spark 1.1.0 编程指南》，在这个版本对Hive的支持更加完善了，如果想在Sp...... w397090770 11年前 (2014-09-17) 18624℃ 8评论10喜欢
本博客分享的其他视频下载地址：《传智播客Hadoop实战视频下载地址[共14集]》、《传智播客Hadoop课程视频资料[共七天]》、《Hadoop入门视频分享[共44集]》、《Hadoop大数据零基础实战培训教程下载》、《Hadoop2.x 深入浅出企业级应用实战视频下载》、《Hadoop新手入门...... w397090770 11年前 (2014-09-16) 119951℃ 4评论290喜欢
本文详细地介绍了如何将Hadoop上的Mapreduce程序转换成Spark的应用程序。有兴趣的可以参考一下：The key to getting the most out of Spark is to understand the differences between its RDD API and the original Mapper and Reducer API.Venerable MapReduce has ...... w397090770 11年前 (2014-09-07) 6481℃ 1评论9喜欢
Spark SQL也公布了很久，今天写了个程序来看下Spark SQL、Spark Hive以及直接用Hive执行的效率进行了对比。以上测试都是跑在YARN上。 首先我们来看看我的环境：3台DataNode，2台NameNode，每台机器20G内存，24核数据都是lzo格式的，共336个文件，338.6 G无其他...... w397090770 11年前 (2014-08-13) 50165℃ 9评论51喜欢
Spark 0.9.2于昨天（2014年07月23日）发布。对，你没看错，是Spark 0.9.2。Spark 0.9.2是基于0.9的分枝，修复了一些bug，推荐所有使用0.9.x的用户升级到这个稳定版本。有28位开发者参与了这次版本的开发。虽然Spark已经发布了Spark 1.0.x，但是里面有不少的bug，这次的S...... w397090770 11年前 (2014-07-24) 4669℃ 0评论3喜欢
本文转载自：http://blog.cloudera.com/blog/2014/04/how-to-run-a-simple-apache-spark-app-in-cdh-5/(Editor’s note – this post has been updated to reflect CDH 5.1/Spark 1.0)Apache Spark is a general-purpose, cluster computing framework that, like MapReduce...... w397090770 11年前 (2014-07-18) 20232℃ 3评论9喜欢
本博客分享的其他视频下载地址：《传智播客Hadoop实战视频下载地址[共14集]》、《传智播客Hadoop课程视频资料[共七天]》、《Hadoop入门视频分享[共44集]》、《Hadoop大数据零基础实战培训教程下载》、《Hadoop2.x 深入浅出企业级应用实战视频下载》、《Hadoop新手入门...... w397090770 11年前 (2014-07-15) 92573℃ 0评论164喜欢
2014年7月11日，Spark 1.0.1已经发布了，原文如下：We are happy to announce the availability of Spark 1.0.1! This release includes contributions from 70 developers. Spark 1.0.0 includes fixes across several areas of Spark, including the core API, PySp...... w397090770 11年前 (2014-07-13) 6914℃ 0评论4喜欢
在本博客的《Spark读取Hbase中的数据》文章中我谈到了如何用Spark和Hbase整合的过程以及代码的编写测试等。今天我们继续谈谈Spark如何和Flume-ng进行整合，也就是如何将Flune-ng里面的数据发送到Spark，利用Spark进行实时的分析计算。本文将通过Java和Scala版本的程序进...... w397090770 11年前 (2014-07-08) 23255℃ 4评论17喜欢
