当我们正确地部署好Spark Streaming，我们就可以使用Spark Streaming提供的零数据丢失机制。为了体验这个关键的特性，你需要满足以下几个先决条件： 1、输入的数据来自可靠的数据源和可靠的接收器； 2、应用程序的metadata被application的driver持久化了(checkpointed ); 3、启用了WAL特性(Write ahead log)。 下面我将简单 w397090770 8年前 (2016-03-02) 17558℃ 16评论50喜欢
即日起，关注@Spark技术博客 及@ 一位微博好友并转发本文章到微博有机会获取《Spark大数据分析实战》：/archives/1590。3月12日在微博抽奖平台抽取1位同学并赠送此书。本活动已经结束，抽奖信息已经在新浪微博抽奖平台公布 《Spark大数据分析实战》由高彦杰和倪亚宇编写，通过典型数据分析应用场景、算法与系统架构，结 w397090770 8年前 (2016-03-02) 8431℃ 0评论44喜欢
Spark Summit East 2016：视频，PPT Spark Summit East 2016会议于2016年2月16日至2月18日在美国纽约进行。总体来说，Spark Summit一年比一年火，单看纽约的峰会中，规模已从900人增加到500个公司的1300人，更吸引到更多大型公司的分享，包括Bloomberg、Capital One、Novartis、Comcast等公司。而在这次会议上，Databricks还发布了两款产品——Commu w397090770 8年前 (2016-02-27) 5593℃ 0评论14喜欢
Spark Summit East 2016：视频，PPT Spark Summit East 2016会议于2016年2月16日至2月18日在美国纽约进行。总体来说，Spark Summit一年比一年火，单看纽约的峰会中，规模已从900人增加到500个公司的1300人，更吸引到更多大型公司的分享，包括Bloomberg、Capital One、Novartis、Comcast等公司。而在这次会议上，Databricks还发布了两款产品——Commu w397090770 8年前 (2016-02-27) 6150℃ 0评论9喜欢
Apache Zeppelin使用入门指南：安装Apache Zeppelin使用入门指南：编程Apache Zeppelin使用入门指南：添加外部依赖 在前面的两篇文章中我们介绍了如何编译和部署Apache Zeppelin、如何使用Apache Zeppelin。这篇文章中将介绍如何将外部依赖库加入到Apache Zeppelin中。 在现实情况下，我们编写程序一般都是需要依赖外部的相关类库 w397090770 8年前 (2016-02-04) 7939℃ 0评论7喜欢
Apache Zeppelin使用入门指南：安装Apache Zeppelin使用入门指南：编程Apache Zeppelin使用入门指南：添加外部依赖使用Apache Zeppelin 编译和启动完Zeppelin相关的进程之后，我们就可以来使用Zeppelin了。我们进入到https://www.iteblog.com:8080页面，我们可以在页面上直接操作Zeppelin，依次选择Notebook->Create new note，然后会弹出一个对话框 w397090770 8年前 (2016-02-03) 25189℃ 2评论31喜欢
Apache Zeppelin使用入门指南：安装Apache Zeppelin使用入门指南：编程Apache Zeppelin使用入门指南：添加外部依赖 Apache Zeppelin是一款基于web的notebook(类似于ipython的notebook)，支持交互式地数据分析。原生就支持Spark、Scala、SQL 、shell, markdown等。而且它是完全开源的，目前还处于Apache孵化阶段。本文所有的操作都是基于Apache Zeppelin w397090770 8年前 (2016-02-02) 20505℃ 9评论20喜欢
默认情况下，Apache Zeppelin启动Spark是以本地模式起的，master的值是local[*]，我们可以通过修改conf/zeppelin-env.sh文件里面的MASTER的值如下：[code lang="bash"]export MASTER= yarn-clientexport HADOOP_HOME=/home/q/hadoop/hadoop-2.2.0export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/[/code]然后启动Zeppelin，但是我们有时会发现日志出现了以下的异常信息：ERRO w397090770 8年前 (2016-01-22) 12003℃ 16评论12喜欢
我下载的Apache Zeppelin和Apache Spark版本分别为：0.6.0-incubating-SNAPSHOT和1.5.2，在Zeppelin中使用SQLContext读取Json文件创建DataFrame的过程中出现了以下的异常：[code lanh="scala"]val profilesJsonRdd =sqlc.jsonFile("hdfs://www.iteblog.com/tmp/json")val profileDF=profilesJsonRdd.toDF()profileDF.printSchema()profileDF.show()profileDF.registerTempTable("profiles") w397090770 8年前 (2016-01-21) 6802℃ 2评论11喜欢
本系列文章翻译自：《scala data analysis cookbook》第二章：Getting Started with Apache Spark DataFrames。原书是基于Spark 1.4.1编写的，我这里使用的是Spark 1.6.0，丢弃了一些已经标记为遗弃的函数。并且修正了其中的错误。 一、从csv文件创建DataFrame 如何做？ 如何工作的 附录 二、操作DataFrame w397090770 8年前 (2016-01-18) 7577℃ 0评论6喜欢
![Spark Summit East 2016 PPT免费下载[共65个]](https://www.iteblog.com/wp-content/themes/yusi2.0/img/pic/5.jpg)
