Spark Summit 2017 Europe 于2017-10-24 至 26在柏林进行，本次会议议题超过了70多个，会议的全部日程请参见：https://spark-summit.org/eu-2017/schedule/。本次议题主要包括：开发、研究、机器学习、流计算等领域。从这次会议可以看出，当前 Spark 发展两大方向：深度学...... w397090770 8年前 (2017-11-02) 3611℃ 0评论13喜欢
背景介绍本项目主要解决 check 和 opinion2 张历史数据表（历史数据是指当业务发生过程中的完整中间流程和结果数据）的在线查询。原实现基于 Oracle 提供存储查询服务，随着数据量的不断增加，在写入和读取过程中面临性能问题，且历史数据仅供业务查询参考，并不影响实际流...... w397090770 8年前 (2017-10-28) 2766℃ 0评论7喜欢
MMLSpark为Apache Spark提供了大量深度学习和数据科学工具，包括将Spark Machine Learning管道与Microsoft Cognitive Toolkit（CNTK）和OpenCV进行无缝集成，使您能够快速创建功能强大，高度可扩展的大型图像和文本数据集分析预测模型。如果想及时了解Spark、Hadoop或者Hb...... w397090770 8年前 (2017-10-24) 4292℃ 0评论9喜欢
这次整理的PPT来自于2017年09月11日至13日在 Berlin 进行的 Flink forward 会议，这种性质的会议和大家熟知的 Spark summit 类似。本次会议的官方日程参见：https://berlin-2017.flink-forward.org/kb_day/day-1/。因为原始的PPT是在 http://www.slideshare.net/ 网站，这个...... zz~~ 8年前 (2017-10-18) 2771℃ 0评论18喜欢
本书书名全名：Learning Spark Streaming:Best Practices for Scaling and Optimizing Apache Spark，于2017-06由 O'Reilly Media出版，作者 Francois Garillot, Gerard Maas，全书300页。本文提供的是本书的预览版。关注大数据猿(bigdata_ai)公众号及时获取最新大数据相关...... zz~~ 8年前 (2017-10-18) 6522℃ 0评论21喜欢
在《在Kafka中使用Avro编码消息：Producter篇》 和 《在Kafka中使用Avro编码消息：Consumer篇》 两篇文章里面我介绍了直接使用原生的 Kafka API生成和消费 Avro 类型的编码消息，本文将继续介绍如何通过 Spark 从 Kafka 中读取这些 Avro 格式化的消息。如果想及时了解Spar...... zz~~ 8年前 (2017-09-26) 4805℃ 0评论19喜欢
我在《在Kafka中使用Avro编码消息：Producter篇》文章中简单介绍了如何发送 Avro 类型的消息到 Kafka。本文接着上文介绍如何从 Kafka 读取 Avro 格式的消息。关于 Avro 我这就不再介绍了。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_...... w397090770 8年前 (2017-09-25) 6592℃ 0评论16喜欢
本文将介绍如何在 Kafka 中使用 Avro 来序列化消息，并提供完整的 Producter 代码共大家使用。AvroAvro 是一个数据序列化的系统，它可以将数据结构或对象转化成便于存储或传输的格式。Avro设计之初就用来支持数据密集型应用，适合于远程或本地大规模数据的存储和交换。因...... zz~~ 8年前 (2017-09-22) 7200℃ 2评论23喜欢
告诉大家一件好消息：ElasticSearch官方正在开发SQL功能模块，也就是说未来版本（不是 6.x 就是 7.x）的Elasticsearch内置就支持SQL特性了！这样我们就不需要安装 NLPchina/elasticsearch-sql 插件。这个SQL模块是属于X-Pack的一部分。首先默认提供了一个 CLI 工具，可以很...... w397090770 8年前 (2017-09-06) 3116℃ 0评论14喜欢
2017年08月31日发布了ElasticSearch 6.0.0-beta2，其中有很多特性值得期待：稀疏性 Doc Values 的支持：大家知道 es 的 doc values 是列式存储，文档的原始值都是存放在 doc values 里面的，而稀疏性是指，一个索引里面，文档的结构其实是多样性的，但是郁闷的是只要一个文...... w397090770 8年前 (2017-09-04) 9214℃ 0评论22喜欢
![Spark Summit 2017 Europe全部PPT及视频下载[共69个]](https://www.iteblog.com/pic/spark/spark-summit-2017-europe-iteblog.png)
![[电子书]Learning Spark Streaming PDF下载](https://www.iteblog.com/pic/books/Learning_Spark_Streaming_iteblog.jpg)
