来自于requests的灵感，因为它很简单；并且由lxml驱动，因为它速度很快。 Newspaper是一个惊人的新闻、全文以及文章元数据抽取开源的Python类库，这个类库支持10多种语言，所有的东西都是用unicode编码的。我们可以使用下面命令查看：/** * User: 过往记忆 *...... w397090770 10年前 (2015-05-20) 2841℃ 0评论0喜欢
spark.cleaner.ttl参数的原意是清除超过这个时间的所有RDD数据，以便腾出空间给后来的RDD使用。周期性清除保证在这个时间之前的元数据会被遗忘，对于那些运行了几小时或者几天的Spark作业（特别是Spark Streaming）设置这个是很有用的。注意：任何内存中的RDD只要过了这...... w397090770 10年前 (2015-05-20) 8228℃ 0评论7喜欢
Apache Hive 1.2.0于美国时间2015年05月18日正式发布，其中修复了大量大Bug，完整邮件内容如下：如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoopThe Apache Hive team is proud to announce the the release of Apache Hive...... w397090770 10年前 (2015-05-19) 5463℃ 0评论4喜欢
《Kafka剖析：Kafka背景及架构介绍》《Kafka设计解析：Kafka High Availability（上）》《Kafka设计解析：Kafka High Availability （下）》《Kafka设计解析：Replication工具》《Kafka设计解析：Kafka Consumer解析》 Kafka在0.8以前的版本中，并不提供High Avai...... w397090770 10年前 (2015-05-19) 5456℃ 0评论3喜欢
为什么建议尽量在Spark中少用GroupByKey，让我们看一下使用两种不同的方式去计算单词的个数，第一种方式使用 reduceByKey ；另外一种方式使用groupByKey，代码如下：# User: 过往记忆# Date: 2015-05-18# Time: 下午22:26# bolg: # 本文地址：/archives/1357...... w397090770 10年前 (2015-05-18) 33683℃ 0评论51喜欢
如果你想知道Hadoop作业运行日志，可以查看这里《Hadoop日志存放路径详解》 在很多情况下，我们需要查看driver和executors在运行Spark应用程序时候产生的日志，这些日志对于我们调试和查找问题是很重要的。 Spark日志确切的存放路径和部署模式相关： （1...... w397090770 10年前 (2015-05-14) 39914℃ 6评论16喜欢
jvisualvm工具JDK自带的一个监控工具，该工具是用来监控java运行程序的cpu、内存、线程等的使用情况，并且使用图表的方式监控java程序、还具有远程监控能力，不失为一个用来监控Java程序的好工具。 同样，我们可以使用jvisualvm来监控Spark应用程序（Application）...... w397090770 10年前 (2015-05-13) 10760℃ 0评论9喜欢
在本博客的《Spark Metrics配置详解》文章中介绍了Spark Metrics的配置，其中我们就介绍了Spark监控支持Ganglia Sink。Ganglia是UC Berkeley发起的一个开源集群监视项目，主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见...... w397090770 10年前 (2015-05-11) 14021℃ 1评论13喜欢
在几年前，Oracle宣布不再维护Java 6的更新（看这里http://www.computerworld.com/article/2494112/application-security/oracle-to-stop-patching-java-6-in-february-2013.html），那么Java 6发现的新bug Oracle公司也就不再会去修改，这对用户来说就是不好的消息。...... w397090770 10年前 (2015-05-06) 7536℃ 1评论4喜欢
和Hadoop类似，在Spark中也存在很多的Metrics配置相关的参数，它是基于Coda Hale Metrics Library的可配置Metrics系统，我们可以通过配置文件进行配置，通过Spark的Metrics系统，我们可以把Spark Metrics的信息报告到各种各样的Sink，比如HTTP、JMX以及CSV文件。Spark的Met...... w397090770 10年前 (2015-05-05) 14496℃ 0评论15喜欢
