在本博客的《Flume-1.4.0和Hbase-0.96.0整合》我们已经学习了如何使用Flume-1.4.0和Hbase-0.96.0进行整合。我们可以很容易的配置Hbase sink，并和最新版的Hbase整合，但是由于项目的特殊情况，我需要将Flume-0.9.4和Hbase-0.96整合，搞过这个的人应该知道，Flume-0.9.4...... w397090770 12年前 (2014-01-25) 7205℃ 1评论2喜欢
Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 Flume主要有以下几类组件： （1）、Mas...... w397090770 12年前 (2014-01-23) 6817℃ 1评论3喜欢
关于如何编译Flume-ng 1.4.0可以参见本博客的《基于Hadoop-2.2.0编译flume-ng 1.4.0及错误解决》 在编译Flume-0.9.4源码的时候出现了以下的错误信息：[INFO] ------------------------------------------------------------------------[INFO] Reactor Summary...... w397090770 12年前 (2014-01-22) 10848℃ 2评论2喜欢
由于需要在Flume里面加入一些我需要的代码，这时候就需要重新编译Flume代码，因为在编译Flume源码的时候出现了很多问题，所以写出这篇博客，以此分享给那些也需要编译代码的人一些参考，这里以如何编译Flume-0.9.4源码为例进行说明。 首先下载Flume0.9.4源码(可以到...... w397090770 12年前 (2014-01-22) 12378℃ 1评论4喜欢
最近由于项目需要把Flume收集到的日志信息插入到Hbase中，由于第一次接触这些，在整合的过程中，我遇到了许多问题，我相信很多人也应该会遇到这些问题的，于是我把整个整合的过程写出来，希望给那些同样遇到这样问题的朋友帮助。 在使用Flume的时候，请确保你电脑...... w397090770 12年前 (2014-01-21) 11350℃ 6评论1喜欢
由于项目需要，需要在集群中安装好Zookeeper，这里我选择最新版本的Zookeeper3.4.5。 ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错...... w397090770 12年前 (2014-01-20) 9568℃ 6评论8喜欢
在《Zookeeper 3.4.5分布式安装手册》、《Hadoop2.2.0完全分布式集群平台安装与设置》文章中，我们已经详细地介绍了如何搭建分布式的Zookeeper、Hadoop等平台，今天，我们来说说如何在Hadoop、Zookeeper上搭建完全分布式的Hbase平台。这里同样选择目前最新版的Hbase用于配合...... w397090770 12年前 (2014-01-19) 11238℃ 6评论1喜欢
写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。/archives/tag/h...... w397090770 12年前 (2014-01-14) 30744℃ 4评论42喜欢
写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。https://www.iteblog...... w397090770 12年前 (2014-01-06) 16174℃ 2评论8喜欢
HDFS设计之处并不支持给文件追加内容，这样的设计是有其背景的（如果想了解更多关于HDFS的append的曲折实现，可以参考《File Appends in HDFS》：http://blog.cloudera.com/blog/2009/07/file-appends-in-hdfs/），但从HDFS2.x开始支持给文件追加内容，可以参见https://...... w397090770 12年前 (2014-01-03) 34639℃ 3评论20喜欢
