欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

有关【Hadoop】的内容

Scala

为Java程序员编写的Scala的入门教程

为Java程序员编写的Scala的入门教程
  本文是《A Scala Tutorial for Java programmers》英文的翻译,英文版地址A Scala Tutorial for Java programmers。是Michel Schinz和Philipp Haller编写,由Bearice成中文,dongfengyee(东风雨)整理.一、简介二、 第一个Scala例子三、Scala与Java交互四、Scala......

w397090770   10年前 (2015-04-18) 16321℃ 0评论37喜欢

Zookeeper

Zookeeper从入门到精通视频百度网盘下载

Zookeeper从入门到精通视频百度网盘下载
  课程讲师:Cloudy  课程分类:Java  适合人群:初级  课时数量:8课时  用到技术:Zookeeper、Web界面监控  涉及项目:案例实战  此视频百度网盘免费下载。本站所有下载资源收集于网络,只做学习和交流使用,版权归原作者所有,若为付费视频,请在下......

w397090770   10年前 (2015-04-18) 34923℃ 2评论57喜欢

Spark

Spark 1.2.2和Spark 1.3.1同时发布(都是稳定版)

Spark 1.2.2和Spark 1.3.1同时发布(都是稳定版)
  Spark 1.2.2和Spark 1.3.1于美国时间2015年4月17日同时发布。两个都是维护版本,并推荐所有1.3和1.2的Spark使用用户升级到相应的版本。如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoopspark 1.2.2(稳定版本)  spark 1.2......

w397090770   10年前 (2015-04-18) 5219℃ 0评论3喜欢

Spark

Spark 2.0:将支持在手机设备上运行Spark

Spark 2.0:将支持在手机设备上运行Spark
  据估计,到2017年底,90%的CPU cycles 将会致力于移动硬件,移动计算正在迅速上升到主导地位。Spark为此重新设计了Spark体系结构,允许Spark在移动设备上运行Spark。  Spark为现代化数据中心和大数据应用进行设计和优化,但是它目前不适合移动计算。在过去的几个月中......

w397090770   10年前 (2015-04-14) 8110℃ 0评论10喜欢

Spark

Spark 1.4最大的看点:支持R语言(SparkR)

Spark 1.4最大的看点:支持R语言(SparkR)
  R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个广泛应用于统计计算和统计制图的优秀编程语言,但是其交互式使用通常局限于一台机器。为了能够使用R语言分析大规模分布式的数据,UC Berkeley给我们带来了SparkR,S......

w397090770   10年前 (2015-04-14) 13037℃ 0评论17喜欢

Kafka

Spark Streaming 1.3对Kafka整合的提升详解

Spark Streaming 1.3对Kafka整合的提升详解
  Apache Kafka近年来迅速地成为开源社区流行的流输入平台。同时我们也看到了Spark Streaming的使用趋势和它类似。因此,在Spark 1.3中,社区对Kafka和Spark Streaming的整合做了很多重要的提升。主要修改如下:  1、为Kafka新增了新的Direct API。这个API可以使得每个......

w397090770   10年前 (2015-04-10) 16829℃ 0评论24喜欢

Kafka

Kafka剖析:Kafka背景及架构介绍

Kafka剖析:Kafka背景及架构介绍
《Kafka剖析:Kafka背景及架构介绍》《Kafka设计解析:Kafka High Availability(上)》《Kafka设计解析:Kafka High Availability (下)》《Kafka设计解析:Replication工具》《Kafka设计解析:Kafka Consumer解析》  Kafka是由LinkedIn开发的一个分布式的消息系......

w397090770   10年前 (2015-04-08) 8082℃ 2评论16喜欢

Spark

Spark RDD API扩展开发(2):自定义RDD

Spark RDD API扩展开发(2):自定义RDD
  《Spark RDD API扩展开发(1)》、《Spark RDD API扩展开发(2):自定义RDD》  在本博客的《Spark RDD API扩展开发(1)》文章中我介绍了如何在现有的RDD中添加自定义的函数。本文将介绍如何自定义一个RDD类,假如我们想对没见商品进行打折,我们想用Action操作来实现这......

w397090770   10年前 (2015-03-31) 12149℃ 0评论8喜欢

Spark

Spark RDD API扩展开发(1)

Spark RDD API扩展开发(1)
  《Spark RDD API扩展开发(1)》、《Spark RDD API扩展开发(2):自定义RDD》  我们都知道,Apache Spark内置了很多操作数据的API。但是很多时候,当我们在现实中开发应用程序的时候,我们需要解决现实中遇到的问题,而这些问题可能在Spark中没有相应的API提供,这时候......

w397090770   10年前 (2015-03-30) 7270℃ 2评论15喜欢

Spark

Spark函数讲解:combineByKey

Spark函数讲解:combineByKey
  使用用户设置好的聚合函数对每个Key中的Value进行组合(combine)。可以将输入类型为RDD[(K, V)]转成成RDD[(K, C)]。函数原型def combineByKey[C](createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C) : RDD[(K, C)]def......

w397090770   10年前 (2015-03-19) 22610℃ 0评论23喜欢