在前面（《Flink on YARN部署快速入门指南》的文章中我们简单地介绍了如何在YARN上提交和运行Flink作业，本文将简要地介绍Flink是如何与YARN进行交互的。 YRAN客户端需要访问Hadoop的相关配置文件，从而可以连接YARN资源管理器和HDFS。它使用下面的规则来决定Hadoop配...... w397090770 9年前 (2016-04-04) 6076℃ 0评论8喜欢
Apache Flink是一个高效、分布式、基于Java和Scala(主要是由Java实现)实现的通用大数据分析引擎，它具有分布式 MapReduce一类平台的高效性、灵活性和扩展性以及并行数据库查询优化方案，它支持批量和基于流的数据分析，且提供了基于Java和Scala的API。 从Flink官方...... w397090770 9年前 (2016-03-30) 24412℃ 6评论22喜欢
在Linux文件系统中，我们可以使用下面的Shell脚本判断某个文件是否存在：# 这里的-f参数判断$file是否存在 if [ ! -f "$file" ]; then echo "文件不存在!"fi 但是我们想判断HDFS上某个文件是否存在咋办呢？别急，Hadoop内置提供了...... w397090770 9年前 (2016-03-21) 10871℃ 0评论19喜欢
《ScalikeJDBC：基于SQL的简洁DB访问类库》文章中已经介绍了ScalikeJDBC到底是个什么东西。本文将介绍ScalikeJDBC的常用操作（Operations）API。查询API ScalikeJDBC中有多种查询API，包括single, first, list 和foreach，他们内部都是调用java.sql.PreparedState...... w397090770 9年前 (2016-03-16) 4566℃ 0评论8喜欢
Spark 1.6.1于2016年3月11日正式发布，此版本主要是维护版本，主要涉及稳定性修复，并不涉及到大的修改。推荐所有使用1.6.0的用户升级到此版本。 Spark 1.6.1主要修复的bug包括： 1、当写入数据到含有大量分区表时出现的OOM：SPARK-12546 2、实验性Dataset ...... w397090770 10年前 (2016-03-11) 4008℃ 0评论5喜欢
XML（可扩展标记语言，英语：eXtensible Markup Language，简称: XML）是一种标记语言，也是行业标准数据交换交换格式，它很适合在系统之间进行数据存储和交换（话说Hadoop、Hive等的配置文件就是XML格式的）。本文将介绍如何使用MapReduce来读取XML文件。但是Hadoop内...... w397090770 10年前 (2016-03-07) 5926℃ 1评论7喜欢
Spark Streaming除了可以使用内置的接收器（Receivers，比如Flume、Kafka、Kinesis、files和sockets等）来接收流数据，还可以自定义接收器来从任意的流中接收数据。开发者们可以自己实现org.apache.spark.streaming.receiver.Receiver类来从其他的数据源中接收数据。本...... w397090770 10年前 (2016-03-03) 6013℃ 2评论4喜欢
Apache Arrow是Apache基金会下一个全新的开源项目，同时也是顶级项目。它的目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。 用户在应用大数据分析时除了将Hadoop等大数据平台作为一个经济的存储和批处理平台之外也很看重分析系统的扩展性和性能。过...... w397090770 10年前 (2016-03-01) 3971℃ 0评论2喜欢
如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop在使用Git的时候，比如push操作，需要我们输入用户名和密码，如下：D:\iteblog\spark>git push origin initUsername for 'http://gitlab.iteblog.com': iteblogPassword fo...... w397090770 10年前 (2016-02-29) 2864℃ 0评论4喜欢
这篇文章中将介绍C# 6.0的一个新特性，这将加深我们对Scala monad的理解。Null-conditional操作符 假如我们有一个嵌套的数据类型，然后我们需要访问这个嵌套类型里面的某个属性。比如Article可以没有作者（Author）信息；Author可以没有Address信息；Address可以没...... w397090770 10年前 (2016-02-24) 2201℃ 0评论6喜欢
