登录
欢迎关注大数据技术架构与案例微信公众号：过往记忆大数据。
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号：
过往记忆大数据

最新发布 第101页

过往记忆专注于大数据技术构架及应用，微信公众号:过往记忆大数据

最热排行榜

Spark

在Spark中尽量少使用GroupByKey函数

在Spark中尽量少使用GroupByKey函数
　　为什么建议尽量在Spark中少用GroupByKey，让我们看一下使用两种不同的方式去计算单词的个数，第一种方式使用 reduceByKey ；另外一种方式使用groupByKey，代码如下：[code lang="scala"]# User: 过往记忆# Date: 2015-05-18# Time: 下午22:26# bolg: # 本文地址：/archives/1357# 过往记忆博客，专注于hadoop、hive、spark、shark、flume的技术博客，大量

w397090770   9年前 (2015-05-18) 33290℃ 0评论51喜欢

Spark

北京第七次Spark meetup会议资料分享

北京第七次Spark meetup会议资料分享
　　《Spark meetup(Beijing)资料分享》　　《Spark meetup(杭州)PPT资料分享》　　《北京第二次Spark meetup会议资料分享》　　《北京第三次Spark meetup会议资料分享》　　《北京第四次Spark meetup会议资料分享》　　《北京第五次Spark meetup会议资料分享》》　　《北京第六次Spark meetup会议资料分享》　　《杭州第三次Spark meetup会议

w397090770   9年前 (2015-05-15) 4777℃ 0评论3喜欢

Spark

Spark应用程序运行的日志存在哪里

Spark应用程序运行的日志存在哪里
　　如果你想知道Hadoop作业运行日志，可以查看这里《Hadoop日志存放路径详解》　　在很多情况下，我们需要查看driver和executors在运行Spark应用程序时候产生的日志，这些日志对于我们调试和查找问题是很重要的。　　Spark日志确切的存放路径和部署模式相关：　　（1）、如果是Spark Standalone模式，我们可以直接在Master UI界

w397090770   9年前 (2015-05-14) 39483℃ 6评论16喜欢

Spark

使用jvisualvm监控Spark作业

使用jvisualvm监控Spark作业
　　jvisualvm工具JDK自带的一个监控工具，该工具是用来监控java运行程序的cpu、内存、线程等的使用情况，并且使用图表的方式监控java程序、还具有远程监控能力，不失为一个用来监控Java程序的好工具。　　同样，我们可以使用jvisualvm来监控Spark应用程序（Application），从而可以看到Spark应用程序堆，线程的使用情况，从而根据这

w397090770   9年前 (2015-05-13) 10646℃ 0评论9喜欢

Spark

使用Ganglia监控Spark

使用Ganglia监控Spark
在本博客的《Spark Metrics配置详解》文章中介绍了Spark Metrics的配置，其中我们就介绍了Spark监控支持Ganglia Sink。Ganglia是UC Berkeley发起的一个开源集群监视项目，主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性

w397090770   9年前 (2015-05-11) 13785℃ 1评论13喜欢