欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

有关【Hadoop】的内容

Spark

北京第二次Spark meetup会议资料分享

北京第二次Spark meetup会议资料分享
  《Spark meetup(Beijing)资料分享》  《Spark meetup(杭州)PPT资料分享》  《北京第二次Spark meetup会议资料分享》  《北京第三次Spark meetup会议资料分享》  《北京第四次Spark meetup会议资料分享》  《北京第五次Spark meetup会议资料分享》》 ......

w397090770   11年前 (2014-09-08) 18692℃ 177评论16喜欢

Hadoop

如何将Mapreduce程序转换成Spark程序

如何将Mapreduce程序转换成Spark程序
  本文详细地介绍了如何将Hadoop上的Mapreduce程序转换成Spark的应用程序。有兴趣的可以参考一下:The key to getting the most out of Spark is to understand the differences between its RDD API and the original Mapper and Reducer API.Venerable MapReduce has ......

w397090770   11年前 (2014-09-07) 6484℃ 1评论9喜欢

Flume

Flume-ng与Mysql整合开发

Flume-ng与Mysql整合开发
  我们知道,Flume可以和许多的系统进行整合,包括了Hadoop、Spark、Kafka、Hbase等等;当然,强悍的Flume也是可以和Mysql进行整合,将分析好的日志存储到Mysql(当然,你也可以存放到pg、oracle等等关系型数据库)。  不过我这里想多说一些:Flume是分布式收集日志的......

w397090770   11年前 (2014-09-04) 25790℃ 21评论40喜欢

Spark

Spark meetup(杭州)PPT资料分享

Spark meetup(杭州)PPT资料分享
  《Spark meetup(Beijing)资料分享》  《Spark meetup(杭州)PPT资料分享》  《北京第二次Spark meetup会议资料分享》  《北京第三次Spark meetup会议资料分享》  《北京第四次Spark meetup会议资料分享》  《北京第五次Spark meetup会议资料分享》》 ......

w397090770   11年前 (2014-09-01) 27006℃ 230评论17喜欢

Spark

Spark meetup(Beijing)资料分享

Spark meetup(Beijing)资料分享
  《Spark meetup(Beijing)资料分享》  《Spark meetup(杭州)PPT资料分享》  《北京第二次Spark meetup会议资料分享》  《北京第三次Spark meetup会议资料分享》  《北京第四次Spark meetup会议资料分享》  《北京第五次Spark meetup会议资料分享》》 ......

w397090770   11年前 (2014-08-29) 24492℃ 204评论16喜欢

常用工具

Font Awesome:图标字体,完全CSS控制

Font Awesome:图标字体,完全CSS控制
  相关图标矢量字库:《Font Awesome:图标字体》、《阿里巴巴矢量图标库:Iconfont》  Font Awesome是一种web font,它包含了几乎所有常用的图标,比如Twitter、facebook等等。用户可以自定义这些图标字体,包括大小、颜色、阴影效果以及其它可以通过CSS控制的属性。......

w397090770   11年前 (2014-08-20) 44524℃ 1评论115喜欢

Hive

Spark SQL & Spark Hive编程开发, 并和Hive执行效率对比

Spark SQL & Spark Hive编程开发, 并和Hive执行效率对比
  Spark SQL也公布了很久,今天写了个程序来看下Spark SQL、Spark Hive以及直接用Hive执行的效率进行了对比。以上测试都是跑在YARN上。  首先我们来看看我的环境:3台DataNode,2台NameNode,每台机器20G内存,24核数据都是lzo格式的,共336个文件,338.6 G无其他......

w397090770   11年前 (2014-08-13) 50166℃ 9评论51喜欢

Kafka

Apache Kafka监控之Kafka Web Console

Apache Kafka监控之Kafka Web Console
《Apache Kafka监控之Kafka Web Console》《Apache Kafka监控之KafkaOffsetMonitor》《雅虎开源的Kafka集群管理器(Kafka Manager)》昨天在《Apache Kafka监控之KafkaOffsetMonitor》介绍了KafkaOffsetMonitor的编译以及配置等内容,今天继续来介绍Kafka的第二种监控系......

w397090770   11年前 (2014-08-08) 45057℃ 3评论14喜欢

Kafka

Apache Kafka监控之KafkaOffsetMonitor

Apache Kafka监控之KafkaOffsetMonitor
《Apache Kafka监控之Kafka Web Console》《Apache Kafka监控之KafkaOffsetMonitor》《雅虎开源的Kafka集群管理器(Kafka Manager)》当你将Kafka集群部署之后,你可能需要知道当前消息队列的增长以及消费情况,这时候你就得需要监控它。今天我这里推荐两款 Kafka 开源的......

w397090770   11年前 (2014-08-07) 40856℃ 1评论18喜欢

Spark

Spark Release 1.0.2发布

Spark Release 1.0.2发布
  Spark Release 1.0.2于2014年8月5日发布,Spark 1.0.2 is a maintenance release with bug fixes. This release is based on the branch-1.0 maintenance branch of Spark. We recommend all 1.0.x users to upgrade to this stable release. Contributions to this rel......

w397090770   11年前 (2014-08-06) 5859℃ 2评论4喜欢