我们知道，Flume可以和许多的系统进行整合，包括了Hadoop、Spark、Kafka、Hbase等等；当然，强悍的Flume也是可以和Mysql进行整合，将分析好的日志存储到Mysql（当然，你也可以存放到pg、oracle等等关系型数据库）。 不过我这里想多说一些：Flume是分布式收集日志的系统；既然都分布式了，数据量应该很大，为什么你要将Flume分 10年前 (2014-09-04) 25659℃ 21评论38喜欢
《Spark meetup(Beijing)资料分享》 《Spark meetup(杭州)PPT资料分享》 《北京第二次Spark meetup会议资料分享》 《北京第三次Spark meetup会议资料分享》 《北京第四次Spark meetup会议资料分享》 《北京第五次Spark meetup会议资料分享》》 《北京第六次Spark meetup会议资料分享》 8月31日(13:30-17:30)，杭州第 10年前 (2014-09-01) 26259℃ 230评论16喜欢
《Spark meetup(Beijing)资料分享》 《Spark meetup(杭州)PPT资料分享》 《北京第二次Spark meetup会议资料分享》 《北京第三次Spark meetup会议资料分享》 《北京第四次Spark meetup会议资料分享》 《北京第五次Spark meetup会议资料分享》》 《北京第六次Spark meetup会议资料分享》 下面是Spark meetup(Beijing)第 10年前 (2014-08-29) 23763℃ 204评论16喜欢
相关图标矢量字库：《Font Awesome:图标字体》、《阿里巴巴矢量图标库：Iconfont》 Font Awesome是一种web font，它包含了几乎所有常用的图标，比如Twitter、facebook等等。用户可以自定义这些图标字体，包括大小、颜色、阴影效果以及其它可以通过CSS控制的属性。它有以下的优点： 1、像矢量图形一样，可以无限放大 2、只 10年前 (2014-08-20) 44016℃ 1评论115喜欢
备份数据库，还原数据库的情况，我们一般用一下两种方式来处理：1.使用into outfile 和 load data infile导入导出备份数据这种方法的好处是，导出的数据可以自己规定格式，并且导出的是纯数据，不存在建表信息，你可以直接导入另外一个同数据库的不同表中，相对于mysqldump比较灵活机动。我们来看下面的例子：（1）下面 10年前 (2014-08-15) 4785℃ 0评论5喜欢
Spark SQL也公布了很久，今天写了个程序来看下Spark SQL、Spark Hive以及直接用Hive执行的效率进行了对比。以上测试都是跑在YARN上。 首先我们来看看我的环境： 3台DataNode，2台NameNode，每台机器20G内存，24核 数据都是lzo格式的，共336个文件，338.6 G 无其他任务执行如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关 10年前 (2014-08-13) 49825℃ 9评论51喜欢
以下文章是转载自国外网站，介绍了Hadoop生态系统上面的几种SQL：Hive、Drill、Impala、Presto以及Spark\Shark等应用场景、对比以及一些结论Within the big data landscape there are multiple approaches to accessing, analyzing, and manipulating data in Hadoop. Each depends on key considerations such as latency, ANSI SQL completeness (and the ability to tolerate machine-generated SQL), developer and a 10年前 (2014-08-11) 9865℃ 0评论14喜欢
《Apache Kafka监控之Kafka Web Console》《Apache Kafka监控之KafkaOffsetMonitor》《雅虎开源的Kafka集群管理器(Kafka Manager)》昨天在《Apache Kafka监控之KafkaOffsetMonitor》介绍了KafkaOffsetMonitor的编译以及配置等内容，今天继续来介绍Kafka的第二种监控系统Kafka Web Console。他也是一款开源的系统，源码的地址在https://github.com/claudemamo/kafka-web-console中 10年前 (2014-08-08) 44733℃ 3评论14喜欢
《Apache Kafka监控之Kafka Web Console》《Apache Kafka监控之KafkaOffsetMonitor》《雅虎开源的Kafka集群管理器(Kafka Manager)》当你将Kafka集群部署之后，你可能需要知道当前消息队列的增长以及消费情况，这时候你就得需要监控它。今天我这里推荐两款 Kafka 开源的监控系统：KafkaOffsetMonitor 和 Kafka Web Console。KafkaOffsetMonitor是用来实时监控K 10年前 (2014-08-07) 40720℃ 1评论18喜欢
Spark Release 1.0.2于2014年8月5日发布，Spark 1.0.2 is a maintenance release with bug fixes. This release is based on the branch-1.0 maintenance branch of Spark. We recommend all 1.0.x users to upgrade to this stable release. Contributions to this release came from 30 developers.如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoopYou can download Spark 1.0.2 as 10年前 (2014-08-06) 5793℃ 2评论4喜欢
