登录
欢迎关注大数据技术架构与案例微信公众号：过往记忆大数据。
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号：
过往记忆大数据

最新发布 第102页

过往记忆专注于大数据技术构架及应用，微信公众号:过往记忆大数据

最热排行榜

Hive

Apache Hive 1.2.0正式发布

Apache Hive 1.2.0正式发布
　　Apache Hive 1.2.0于美国时间2015年05月18日正式发布，其中修复了大量大Bug，完整邮件内容如下：如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoopThe Apache Hive team is proud to announce the the release of Apache Hive version 1.2.0.The Apache Hive (TM) data warehouse software facilitates querying and managing large datasets residin

w397090770   10年前 (2015-05-19) 5411℃ 0评论4喜欢

Kafka

Kafka设计解析：Kafka High Availability

Kafka设计解析：Kafka High Availability
《Kafka剖析：Kafka背景及架构介绍》《Kafka设计解析：Kafka High Availability（上）》《Kafka设计解析：Kafka High Availability （下）》《Kafka设计解析：Replication工具》《Kafka设计解析：Kafka Consumer解析》　　Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服

w397090770   10年前 (2015-05-19) 5432℃ 0评论3喜欢

Spark

在Spark中尽量少使用GroupByKey函数

在Spark中尽量少使用GroupByKey函数
　　为什么建议尽量在Spark中少用GroupByKey，让我们看一下使用两种不同的方式去计算单词的个数，第一种方式使用 reduceByKey ；另外一种方式使用groupByKey，代码如下：[code lang="scala"]# User: 过往记忆# Date: 2015-05-18# Time: 下午22:26# bolg: # 本文地址：/archives/1357# 过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量

w397090770   10年前 (2015-05-18) 33584℃ 0评论51喜欢

Spark

北京第七次Spark meetup会议资料分享

北京第七次Spark meetup会议资料分享
　　《Spark meetup(Beijing)资料分享》　　《Spark meetup(杭州)PPT资料分享》　　《北京第二次Spark meetup会议资料分享》　　《北京第三次Spark meetup会议资料分享》　　《北京第四次Spark meetup会议资料分享》　　《北京第五次Spark meetup会议资料分享》》　　《北京第六次Spark meetup会议资料分享》　　《杭州第三次Spark meetup会议

w397090770   10年前 (2015-05-15) 4823℃ 0评论3喜欢

Spark

Spark应用程序运行的日志存在哪里

Spark应用程序运行的日志存在哪里
　　如果你想知道Hadoop作业运行日志，可以查看这里《Hadoop日志存放路径详解》　　在很多情况下，我们需要查看driver和executors在运行Spark应用程序时候产生的日志，这些日志对于我们调试和查找问题是很重要的。　　Spark日志确切的存放路径和部署模式相关：　　（1）、如果是Spark Standalone模式，我们可以直接在Master UI界

w397090770   10年前 (2015-05-14) 39751℃ 6评论16喜欢

Spark

使用jvisualvm监控Spark作业

使用jvisualvm监控Spark作业
　　jvisualvm工具JDK自带的一个监控工具，该工具是用来监控java运行程序的cpu、内存、线程等的使用情况，并且使用图表的方式监控java程序、还具有远程监控能力，不失为一个用来监控Java程序的好工具。　　同样，我们可以使用jvisualvm来监控Spark应用程序（Application），从而可以看到Spark应用程序堆，线程的使用情况，从而根据这

w397090770   10年前 (2015-05-13) 10725℃ 0评论9喜欢