分类：Spark

[电子书]Mastering Apache Spark下载

　　本书旨在通过教你如何扩展Spark的功能，将你对Spark的有限知识提升到一个新的水平。全书从Spark生态系统开始概述，您将学习如何使用MLlib创建一个完全的神经网络系统，然后您将了解如何调整流处理以获得最佳性能并确保并行处理。本书作者Mike Frampton，由Packt 于2015年09月出版，全书318页，通过本书你将学到以下知识：　　（

w397090770 8年前 (2016-12-04) 3684℃ 0评论9喜欢

　　如果你使用Apache Spark解决了中等规模数据的问题，但是在海量数据使用Spark的时候还是会遇到各种问题。High Performance Spark将会向你展示如何使用Spark的高级功能，所以你可以超越新手级别。本书适合软件工程师、数据工程师、开发者以及Spark系统管理员的使用。本书作者Holden Karau, Rachel Warren，由O'Reilly于2016年03月出版，全书175页

w397090770 8年前 (2016-12-04) 4804℃ 0评论6喜欢

使用Spark读取HBase中的数据

　　在《Spark读取Hbase中的数据》文章中我介绍了如何在Spark中读取Hbase中的数据，并提供了Java和Scala两个版本的实现，本文将接着上文介绍如何通过Spark将计算好的数据存储到Hbase中。　　Spark中内置提供了两个方法可以将数据写入到Hbase：（1）、saveAsHadoopDataset；（2）、saveAsNewAPIHadoopDataset，它们的官方介绍分别如下：　　saveAsHad

w397090770 8年前 (2016-11-29) 17845℃ 1评论29喜欢

[电子书]Big Data Analytics pdf下载

本书作者Venkat Ankam，由Packt Publishing出版社在2016年09月发行，全书供326页。本书基于Spark 2.0和Hadoop 2.7版本介绍，是适合数据分析师和数据科学家的参考手册，当然也适合那些想入门的人。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop本书的章节[code lang="bash"]Chapter 1: Big Data Analytics at a 10

zz~~ 8年前 (2016-11-21) 4585℃ 0评论6喜欢

Structured Streaming和Kafka 0.8\0.9整合开发

$Structured Streaming和Kafka 0.8\0.9整合开发$

　　流式处理是大数据应用中的非常重要的一环，在Spark中Spark Streaming利用Spark的高效框架提供了基于micro-batch的流式处理框架，并在RDD之上抽象了流式操作API DStream供用户使用。　　随着流式处理需求的复杂化，用户希望在流式数据中引入较为复杂的查询和分析，传统的DStream API想要实现相应的功能就变得较为复杂，同时随着Spark

w397090770 8年前 (2016-11-16) 6086℃ 0评论13喜欢

Spark Summit 2016 Europe全部PPT下载[共75个]

　　Spark Summit 2016 Europe会议于2016年10月25日至10月27日在布鲁塞尔进行。本次会议有上百位Speaker，来自业界顶级的公司。官方日程：https://spark-summit.org/eu-2016/schedule/。　　由于会议的全部资料存储在http://www.slideshare.net网站，此网站需要翻墙才能访问。基于此本站收集了本次会议的所有PPT资料供大家学习交流之用。本次会议PPT资料

w397090770 8年前 (2016-11-06) 3041℃ 0评论1喜欢

运行Hbase作业出现cannot access its superclass com.google.protobuf.LiteralByteString异常解决

最近写了一个Spark程序用来读取Hbase中的数据，我的Spark版本是1.6.1，Hbase版本是0.96.2-hadoop2，当程序写完之后，使用下面命令提交作业：[code lang="java"][iteblog@www.iteblog.com $] bin/spark-submit --master yarn-cluster --executor-memory 4g --num-executors 5 --queue iteblog --executor-cores 2 --class com.iteblog.hbase.HBaseRead --jars spark-hbase-connector_2.10-1.0.3.jar,hbase-common-0.9

w397090770 8年前 (2016-11-03) 3600℃ 0评论7喜欢