这次整理的 PPT 来自于2018年09月03日至05日在 Berlin 进行的 flink forward 会议，这种性质的会议和大家熟知的Spark summit类似。本次会议的官方日程参见：https://berlin-2018.flink-forward.org/。本次会议共有超过350个 Flink 社区会员的人参与，因为原始的 PPT 是在 http://www.slideshare.net/ 网站，这个网站需要翻墙；为了学习交流的方便，本博客将这些 P 3个月前 (09-19) 1044℃ 2评论4喜欢
概述Hadoop archives 是特殊的档案格式。一个 Hadoop archive 对应一个文件系统目录。 Hadoop archive 的扩展名是 *.har。Hadoop archive 包含元数据（形式是 _index 和 _masterindx）和数据（part-*）文件。_index 文件包含了档案中文件的文件名和位置信息。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop如何 3个月前 (09-17) 507℃ 0评论1喜欢
经常使用 Apache Spark 从 Kafka 读数的同学肯定会遇到这样的问题：某些 Spark 分区已经处理完数据了，另一部分分区还在处理数据，从而导致这个批次的作业总消耗时间变长；甚至导致 Spark 作业无法及时消费 Kafka 中的数据。为了简便起见，本文讨论的 Spark Direct 方式读取 Kafka 中的数据，这种情况下 Spark RDD 中分区和 Kafka 分区是一一对 3个月前 (09-08) 2091℃ 0评论9喜欢
关于 HBase 的 MOB 具体使用可以参见 《HBase MOB（Medium Object）使用入门指南》介绍Apache HBase 中等对象存储（Medium Object Storage, 下面简称 MOB）的特性是由 HBASE-11339 引入的。该功能可以提高 HBase 对中等尺寸文件的低延迟读写访问（理想情况下，文件大小为 100K 到 10MB），这个功能使得 HBase 非常适合存储文档，图片和其他中等尺寸的对 3个月前 (08-27) 533℃ 0评论2喜欢
本文整理自8月11日在北京举行的 Flink Meetup 会议，分享嘉宾施晓罡，目前在阿里大数据团队部从事Blink方面的研发，现在主要负责Blink状态管理和容错相关技术的研发。本文由韩非（Flink China社区志愿者）整理一、有状态的流数据处理1、什么是有状态的计算计算任务的结果不仅仅依赖于输入，还依赖于它的当前状态，其实大 4个月前 (08-24) 1461℃ 0评论6喜欢
在 这篇 和 这篇 文章中我分别介绍了如何将 MySQL 的全量数据导入到 Apache Solr 中以及如何分页导入等，本篇文章将继续介绍如何将 MySQL 的增量数据导入到 Solr 中。增量导数接口为 deltaimport，对应的页面如下：如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop如果我们使用 《将 MySQL 的全量 4个月前 (08-18) 452℃ 0评论2喜欢
Flink China社区线下 Meetup·上海站会议于 2018年7月29日 在上海市杨浦区政学路77号INNOSPACE进行。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop活动议程14:00-14:10 大沙 出品人开场发言14:10-14:40 阿里 巴真 《阿里在Flink的优化和改进分享》14:40-15:10 唯品会 王新春 《Flink在唯品会的实践》详细 4个月前 (08-13) 721℃ 0评论5喜欢
为期两个月开发的 Apache Flink 1.6.0 于今天（2018-08-09）正式发布了。Flink 社区艰难地解决了 360 个 issues，到这里查看完整版的 changelog 。Flink 1.6.0 是 1.x.y 版本系列上的第七个版本，1.x.y 中所有使用 @Public 标注的 API 都是兼容的。此版本继续使 Flink 用户能够无缝地运行快速数据处理并轻松构建数据驱动和数据密集型应用程序。Apache Fli 4个月前 (08-09) 711℃ 0评论9喜欢
在 《将 MySQL 的全量数据导入到 Apache Solr 中》 文章中介绍了如何将 MySQL 中的全量数据导入到 Solr 中。里面提到一个问题，那就是如果数据量很大的时候，一次性导入数据可能会影响 MySQL ，这种情况下能不能分页导入呢？答案是肯定的，本文将介绍如何通过分页的方式将 MySQL 里面的数据导入到 Solr。分页导数的方法和全量导大部 4个月前 (08-07) 269℃ 0评论1喜欢
如果你正在按照 《将 MySQL 的全量数据导入到 Apache Solr 中》 文章介绍的步骤来将 MySQL 里面的数据导入到 Solr 中，但是在创建 Core/Collection 的时候出现了以下的异常[code lang="bash"]2018-08-02 07:56:17.527 INFO (qtp817348612-15) [ x:mysql2solr] o.a.s.m.r.SolrJmxReporter Closing reporter [org.apache.solr.metrics.reporters.SolrJmxReporter@47d9861c: rootName = null, domain = solr.cor 4个月前 (08-07) 130℃ 0评论1喜欢
