欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:988
  2. 浏览总数:12,219,054
  3. 评论:3982
  4. 分类目录:106 个
  5. 注册用户数:6259
  6. 最后更新:2019年1月14日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

标签:Flink

Flink

[电子书]Introduction to Apache Flink PDF下载

[电子书]Introduction to Apache Flink PDF下载
  这本书是市面上第一本系统介绍Apache Flink的图书,书中介绍了为什么选择Apache Flink、流系统架构设计、Flink能做些什么、Flink中是怎么处理时间的、Flink的状态计算等。全书共6章,一共110页。由O'Reilly出版社于2016年10月出版。如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop本书的章节[c

w397090770   2年前 (2016-11-03) 5065℃ 0评论4喜欢

Flink

Apache Flink 1.1.3正式发布

Apache Flink 1.1.3正式发布
  Apache Flink 1.1.3仍然在Flink 1.1系列基础上修复了一些Bug,推荐所有用户升级到Flink 1.1.3,只需要在你相关工程的pom.xml文件里面加入以下依赖:[code lang="xml"]<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.1.3</version></dependency><dependency> <groupId>org.apache

w397090770   2年前 (2016-10-16) 1063℃ 0评论5喜欢

ElasticSearch

将Flink DataSet中的数据写入到ElasticSearch(低级篇)

将Flink DataSet中的数据写入到ElasticSearch(低级篇)
  Flink内置提供了将DataStream中的数据写入到ElasticSearch中的Connector(flink-connector-elasticsearch2_2.10),但是并没有提供将DateSet的数据写入到ElasticSearch。本文介绍如何通过自定义OutputFormat将Flink DateSet里面的数据写入到ElasticSearch。  如果需要将DateSet中的数据写入到外部存储系统(比如HDFS),我们可以通过writeAsText、writeAsCsv、write等内

w397090770   2年前 (2016-10-11) 2903℃ 0评论4喜欢

Flink

Apache Flink 1.1.2正式发布

Apache Flink 1.1.2正式发布
  相关文章:《Apache Flink 1.1.0和1.1.1发布,支持SQL》  Apache Flink 1.1.2于2016年09月05日正式发布,此版本主要是修复一些小bug,推荐所有使用Apache Flink 1.1.0以及Apache Flink 1.1.1的用户升级到此版本,我们可以在pom.xml文件引入以下依赖:[code lang="xml"]<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</a

zz~~   2年前 (2016-09-06) 907℃ 0评论1喜欢

Flink

Apache Flink 1.1.0和1.1.1发布,支持SQL

Apache Flink 1.1.0和1.1.1发布,支持SQL
  Apache Flink 1.1.0于2016年08月08日正式发布,虽然发布了好多天了,我觉得还是有必要说说该版本的一些重大更新。Apache Flink 1.1.0是1.x.x系列版本的第一个主要版本,其API与1.0.0版本保持兼容。这就意味着你之前使用Flink 1.0.0稳定API编写的应用程序可以直接运行在Flink 1.1.0上面。本次发布共有95位贡献者参与,包括对Bug进行修复、新特

w397090770   2年前 (2016-08-18) 1339℃ 0评论0喜欢

Flink

Tumbling Windows vs Sliding Windows区别与联系

Tumbling Windows vs Sliding Windows区别与联系
  在流系统中通常会经常使用到Windows来统计一定范围的数据,比如按照固定时间、按个数等统计。一般会存在两种类型的Windows:Tumbling Windows vs Sliding Windows,它们很容易被初学者混淆,那么Tumbling Windows vs Sliding Windows之间到底有啥区别与联系呢?这就是本文将要展开的。  Tumbling的中文意思是摔跤,翻跟头,翻筋斗;Sliding中

w397090770   3年前 (2016-07-26) 2029℃ 0评论3喜欢

Flink

Apache Flink:Table API和SQL发展现状概述

Apache Flink:Table API和SQL发展现状概述
Flink Table API  Apache Flink对SQL的支持可以追溯到一年前发布的0.9.0-milestone1版本。此版本通过引入Table API来提供类似于SQL查询的功能,此功能可以操作分布式的数据集,并且可以自由地和Flink其他API进行组合。Tables在发布之初就支持静态的以及流式数据(也就是提供了DataSet和DataStream相关APIs)。我们可以将DataSet或DataStream转成Table;同

w397090770   3年前 (2016-06-16) 2660℃ 0评论5喜欢

Flink

Flink batch模式多路文件输出(MultipleTextOutputFormat)

Flink batch模式多路文件输出(MultipleTextOutputFormat)
  昨天我提到了如何在《Flink Streaming中实现多路文件输出(MultipleTextOutputFormat)》,里面我们实现了一个MultipleTextOutputFormatSinkFunction类,其中封装了mutable.Map[String, TextOutputFormat[String]],然后根据key的不一样选择不同的TextOutputFormat从而实现了文件的多路输出。本文将介绍如何在Flink batch模式下实现文件的多路输出,这种模式下比较简单

w397090770   3年前 (2016-05-11) 1886℃ 0评论3喜欢

Flink

Flink Streaming中实现多路文件输出(MultipleTextOutputFormat)

Flink Streaming中实现多路文件输出(MultipleTextOutputFormat)
  有时候我们需要根据记录的类别分别写到不同的文件中去,正如本博客的 《Hadoop多文件输出:MultipleOutputFormat和MultipleOutputs深究(一)》《Hadoop多文件输出:MultipleOutputFormat和MultipleOutputs深究(二)》以及《Spark多文件输出(MultipleOutputFormat)》等文章提到的类似。那么如何在Flink Streaming实现类似于《Spark多文件输出(MultipleOutputFormat)》文

w397090770   3年前 (2016-05-10) 3257℃ 4评论4喜欢

Flink

使用Flink读取Kafka中的消息

使用Flink读取Kafka中的消息
  本文将介绍如何通过Flink读取Kafka中Topic的数据。  和Spark一样,Flink内置提供了读/写Kafka Topic的Kafka连接器(Kafka Connectors)。Flink Kafka Consumer和Flink的Checkpint机制进行了整合,以此提供了exactly-once处理语义。为了实现这个语义,Flink不仅仅依赖于追踪Kafka的消费者group偏移量,而且将这些偏移量存储在其内部用于追踪。  和Sp

w397090770   3年前 (2016-05-03) 11495℃ 1评论16喜欢