欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

最新发布 第102页

过往记忆专注于大数据技术构架及应用,微信公众号:过往记忆大数据

Spark

Spark提交作业的一些异常

Spark提交作业的一些异常
在提交作业的时候出现了以下的异常信息:[code lang="scala"]2015-05-05 11:09:28,071 INFO [Driver] - Attempting to load checkpoint from file hdfs://iteblogcluster/user/iteblog/checkpoint2/checkpoint-14307949860002015-05-05 11:09:28,076 WARN [Driver] - Error reading checkpoint from file hdfs://iteblogcluster/user/iteblog/checkpoint2/checkpoint-1430794986000java.io.InvalidClassException: org.apache.spark.streaming

w397090770   9年前 (2015-05-10) 18727℃ 0评论7喜欢

Spark

Spark 1.5将不再支持Java 6

Spark 1.5将不再支持Java 6
  在几年前,Oracle宣布不再维护Java 6的更新(看这里http://www.computerworld.com/article/2494112/application-security/oracle-to-stop-patching-java-6-in-february-2013.html),那么Java 6发现的新bug Oracle公司也就不再会去修改,这对用户来说就是不好的消息。  在前几天发布的Hadoop 2.7.0 (《Hadoop 2.7.0发布:不适用于生产和不支持JDK1.6》)中的一个重要的

w397090770   9年前 (2015-05-06) 7382℃ 1评论4喜欢

Spark

Spark Metrics配置详解

Spark Metrics配置详解
和Hadoop类似,在Spark中也存在很多的Metrics配置相关的参数,它是基于Coda Hale Metrics Library的可配置Metrics系统,我们可以通过配置文件进行配置,通过Spark的Metrics系统,我们可以把Spark Metrics的信息报告到各种各样的Sink,比如HTTP、JMX以及CSV文件。Spark的Metrics系统目前支持以下的实例:master:Spark standalone模式的master进程;worker:S

w397090770   9年前 (2015-05-05) 14120℃ 0评论15喜欢

Spark

上海Spark Meetup第四次聚会

上海Spark Meetup第四次聚会
  上海Spark Meetup第四次聚会将于2015年5月16日在小沃科技有限公司(原中国联通应用商店运营中心)举办。本次聚会特别添加了抽奖环节,凡是参加了问卷调查并在当天到场的同学们都有机会中奖。奖品由英特尔亚太研发有限公司赞助。大会主题  Opening Keynote 沈洲  小沃科技有限公司副总经理,上海交通大学计算机专

w397090770   9年前 (2015-05-05) 3450℃ 0评论2喜欢

Spark

Spark北京Meetup第七次活动

Spark北京Meetup第七次活动
一、活动时间 5月10日下午14:00-18:00二、活动地点北京市海淀区丹棱街5号 微软亚太研发集团总部大厦1号楼1层 地图: http://j.map.baidu.com/yVWh0三、活动内容:   1、鲁小亿 美国俄亥俄州立大学计算机科学与工程系 Senior Research Associate,演讲主题:<spark & RDMA>   2、董旭 滴滴打车 高级软件工程师,高性能计算负责

w397090770   9年前 (2015-05-05) 2941℃ 0评论6喜欢

Spark

Project Tungsten:让Spark性能大幅提升

Project Tungsten:让Spark性能大幅提升
  在之前的博文中,我们回顾和总结了2014年Spark在性能提升上所做的努力。本篇博文中,我们将为你介绍性能提升的下一阶段——Tungsten。在2014年,我们目睹了Spark缔造大规模排序的新世界纪录,同时也看到了Spark整个引擎的大幅度提升——从Python到SQL再到机器学习。  Tungsten项目将是Spark自诞生以来内核级别的最大改动,以

w397090770   9年前 (2015-05-04) 4790℃ 1评论4喜欢

前端框架

Material-UI:实现Google的Material模式的CSS框架

Material-UI:实现Google的Material模式的CSS框架
  Material-UI是实现了Google Material模式的CSS框架,其中包括了一系列的React组建。Material Design是2014年Google I/O发布的 势必将会成为统一 Android Mobile、Android Table、Desktop Chrome 等全平台设计语言规范,对从业人员意义重大。  为了更好地使用这个框架,推荐大家先了解一下React Library,然后再使用Material-UI。如果想及时了解Spark、H

w397090770   9年前 (2015-05-02) 11290℃ 1评论14喜欢

wordpress开发

WordPress自定义字段的操作

WordPress自定义字段的操作
  WordPress 的自定义字段就是文章的meta 信息(元信息),利用这个功能,可以扩展文章的功能,是学习WordPress 插件开发和主题深度开发的必备。对自定义字段的操作主要有四种:添加、更新(修改)、删除、获取(值)。  1、首先自定义字段的添加函数,改函数可以为文章往数据库中添加一个字段:[code lang="php"]<?php add_

w397090770   9年前 (2015-04-30) 3497℃ 0评论8喜欢