在 《如何在Spark、MapReduce和Flink程序里面指定JAVA_HOME》文章中我简单地介绍了如何自己指定 JAVA_HOME 。有些人可能注意到了，上面设置的方法有个前提就是要求集群的所有节点的同一路径下都安装部署好了 JDK，这样才没问题。但是在现实情况下，我们需要的 JDK 版本可能并没有在集群上安装，这个时候咋办？是不是就没办法呢？答案 w397090770 7年前 (2017-12-05) 2953℃ 0评论18喜欢
最近在使用 Python 学习 Spark，使用了 jupyter notebook，期间使用到 hist 来绘图，代码很简单如下：[code lang="python"]user_data = sc.textFile("/home/iteblog/ml-100k/u.user")user_fields = user_data.map(lambda line: line.split("|"))ages = user_fields.map(lambda x: int(x[1])).collect()hist(ages, bins=20, color='lightblue', normed=True)fig = matplotlib.pyplot.gcf()fig.set_size_inch w397090770 7年前 (2017-12-04) 4608℃ 0评论19喜欢
Spark Shuffle 基础在 MapReduce 框架中，Shuffle 是连接 Map 和 Reduce 之间的桥梁，Reduce 要读取到 Map 的输出必须要经过 Shuffle 这个环节；而 Reduce 和 Map 过程通常不在一台节点，这意味着 Shuffle 阶段通常需要跨网络以及一些磁盘的读写操作，因此 Shuffle 的性能高低直接影响了整个程序的性能和吞吐量。与 MapReduce 计算框架一样，Spark 作 w397090770 7年前 (2017-11-15) 7321℃ 3评论30喜欢
在使用 Apache Spark 的时候，作业会以分布式的方式在不同的节点上运行；特别是当集群的规模很大时，集群的节点出现各种问题是很常见的，比如某个磁盘出现问题等。我们都知道 Apache Spark 是一个高性能、容错的分布式计算框架，一旦它知道某个计算所在的机器出现问题（比如磁盘故障），它会依据之前生成的 lineage 重新调度这个 w397090770 7年前 (2017-11-13) 10344℃ 0评论24喜欢
Spark Summit 2017 Europe 于2017-10-24 至 26在柏林进行，本次会议议题超过了70多个，会议的全部日程请参见：https://spark-summit.org/eu-2017/schedule/。本次议题主要包括：开发、研究、机器学习、流计算等领域。从这次会议可以看出，当前 Spark 发展两大方向：深度学习（Deep Learning）提升流系统的性能（ Streaming Performance）如果想及时了解Spar w397090770 7年前 (2017-11-02) 3514℃ 0评论13喜欢
MMLSpark为Apache Spark提供了大量深度学习和数据科学工具，包括将Spark Machine Learning管道与Microsoft Cognitive Toolkit（CNTK）和OpenCV进行无缝集成，使您能够快速创建功能强大，高度可扩展的大型图像和文本数据集分析预测模型。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoopMMLSpark需要Scala 2.11，Spark 2 w397090770 7年前 (2017-10-24) 4055℃ 0评论9喜欢
在《在Kafka中使用Avro编码消息：Producter篇》 和 《在Kafka中使用Avro编码消息：Consumer篇》 两篇文章里面我介绍了直接使用原生的 Kafka API生成和消费 Avro 类型的编码消息，本文将继续介绍如何通过 Spark 从 Kafka 中读取这些 Avro 格式化的消息。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop其 zz~~ 7年前 (2017-09-26) 4729℃ 0评论19喜欢
本书于2017-07由Packt Publishing出版，作者Sourav Gulati, Sumit Kumar，全书662页。关注大数据猿(bigdata_ai)公众号及时获取最新大数据相关电子书、资讯等通过本书你将学到以下知识Process data using different file formats such as XML, JSON, CSV, and plain and delimited text, using the Spark core Library.Perform analytics on data from various data sources such as Kafka, and Flume zz~~ 7年前 (2017-08-22) 6438℃ 0评论27喜欢
本书于2017-07由Packt Publishing出版，作者Md. Rezaul Karim, Sridhar Alla，全书1587页。关注大数据猿(bigdata_ai)公众号及时获取最新大数据相关电子书、资讯等通过本书你将学到以下知识Understand object-oriented & functional programming concepts of ScalaIn-depth understanding of Scala collection APIsWork with RDD and DataFrame to learn Spark’s core abstractionsAnalysin zz~~ 7年前 (2017-08-21) 7769℃ 0评论31喜欢
本书于2017-03由Packt Publishing出版，作者Muhammad Asif Abbasi，全书356页。通过本书你将学到以下知识：Get an overview of big data analytics and its importance for organizations and data professionalsDelve into Spark to see how it is different from existing processing platformsUnderstand the intricacies of various file formats, and how to process them with Apache Spark.Realize how to deploy Spark with YAR zz~~ 7年前 (2017-07-26) 14723℃ 0评论29喜欢
![Spark Summit 2017 Europe全部PPT及视频下载[共69个]](https://www.iteblog.com/pic/spark/spark-summit-2017-europe-iteblog.png)
![[电子书]Apache Spark 2.x for Java Developers PDF下载](https://www.iteblog.com/pic/books/Apache_Spark_2.x_for_Java_Developers_iteblog.png)
![[电子书]Scala and Spark for Big Data Analytics PDF下载](https://www.iteblog.com/pic/books/Scala_and_Spark_for_Big_Data_Analytics_iteblog.png)
![[电子书]Learning Apache Spark 2 PDF下载](https://www.iteblog.com/pic/books/Learning-Apache-Spark-2_iteblog.png)