欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:961
  2. 浏览总数:11,512,301
  3. 评论:3873
  4. 分类目录:103 个
  5. 注册用户数:5854
  6. 最后更新:2018年10月17日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

2016年07月的内容

HBase

Hive和HBase整合用户指南

Hive和HBase整合用户指南
  本文讲解的Hive和HBase整合意思是使用Hive读取Hbase中的数据。我们可以使用HQL语句在HBase表上进行查询、插入操作;甚至是进行Join和Union等复杂查询。此功能是从Hive 0.6.0开始引入的,详情可以参见HIVE-705。Hive与HBase整合的实现是利用两者本身对外的API接口互相进行通信,相互通信主要是依靠hive-hbase-handler-1.2.0.jar工具里面的类实现

w397090770   2年前 (2016-07-31) 10998℃ 0评论36喜欢

Mesos

Apache Mesos发布1.0.0版本及其功能介绍

Apache Mesos发布1.0.0版本及其功能介绍
  几天前(2016年7月27日),Apache社区发布了Apache Mesos 1.0.0, 这是 Apache Mesos 的一个里程碑事件。相较于前面的版本, 1.0.0首先是改进了与 docker 的集成方式,弃用了 docker daemon;其次,新版本大力推进解决了接口规范化问题,新的 HTTP API 使得开发者能够更容易的开发 Mesos 框架;最后, 为了更好的满足企业用户的多租户,安全,审

w397090770   2年前 (2016-07-31) 1576℃ 0评论2喜欢

Spark

Apache Spark 2.0重大功能介绍

Apache Spark 2.0重大功能介绍
  Apache Spark 2.0发布信息可以参见《Apache Spark 2.0.0正式发布及其功能介绍》  我们很荣幸地宣布,自7月26日起Databricks开始提供Apache Spark 2.0的下载,这个版本是基于社区在过去两年的经验总结而成,不但加入了用户喜爱的功能,也修复了之前的痛点。  本文总结了Spark 2.0的三大主题:更简单、更快速、更智能,另有Spark

w397090770   2年前 (2016-07-28) 12351℃ 0评论26喜欢

Spark

Apache Spark 2.0.0正式发布及其功能介绍

Apache Spark 2.0.0正式发布及其功能介绍
  《Apache Spark 2.0重大功能介绍》:http://www.iteblog.com/archives/1721  《Apache Spark作为编译器:深入介绍新的Tungsten执行引擎》:http://www.iteblog.com/archives/1679  《Spark 2.0技术预览:更容易、更快速、更智能》:http://www.iteblog.com/archives/1668  Apache Spark 2.0.0于2016-07-27正式发布。它是2.x版本线上的第一个版本。主要的更新是API

w397090770   2年前 (2016-07-27) 6089℃ 2评论6喜欢

Flink

Tumbling Windows vs Sliding Windows区别与联系

Tumbling Windows vs Sliding Windows区别与联系
  在流系统中通常会经常使用到Windows来统计一定范围的数据,比如按照固定时间、按个数等统计。一般会存在两种类型的Windows:Tumbling Windows vs Sliding Windows,它们很容易被初学者混淆,那么Tumbling Windows vs Sliding Windows之间到底有啥区别与联系呢?这就是本文将要展开的。  Tumbling的中文意思是摔跤,翻跟头,翻筋斗;Sliding中

w397090770   2年前 (2016-07-26) 1903℃ 0评论2喜欢

Kafka

Spark Streaming kafka实现数据零丢失的几种方式

Spark Streaming kafka实现数据零丢失的几种方式
  在使用Spark streaming消费kafka数据时,程序异常中断的情况下发现会有数据丢失的风险,本文简单介绍如何解决这些问题。  在问题开始之前先解释下流处理中的几种可靠性语义:  1、At most once - 每条数据最多被处理一次(0次或1次),这种语义下会出现数据丢失的问题;  2、At least once - 每条数据最少被处理一次 (1

w397090770   2年前 (2016-07-26) 8179℃ 3评论15喜欢

资料分享

Tunnello:免费的浏览器翻墙插件

Tunnello:免费的浏览器翻墙插件
Tunnello是一款由法国VPN服务商开发提供的谷歌浏览器插件,可以利用此插件进行科学翻墙上网。Tunnello官方提供了12个国家的服务器,包含意大利,葡萄牙,荷兰,美国,德国,比利时,法国,英国,加拿大以及中国香港等等,可以自由切换。我们可以通过Tunnello浏览器插件访问Google搜索。Tunnello混淆了VPN协议和代理协议,使其速度相

w397090770   2年前 (2016-07-25) 197323℃ 0评论743喜欢

Kafka

Kafka在LinkedIn公司的使用及维护实战

Kafka在LinkedIn公司的使用及维护实战
  Apache Kafka在LinkedIn和其他公司中是作为各种数据管道和异步消息的后端。Netflix和Microsoft公司作为Kafka的重量级使用者(Four Comma Club,每天万亿级别的消息量),他们在Kafka Summit的分享也让人受益良多。  虽然Kafka有着极其稳定的架构,但是在每天万亿级别消息量的大规模下也会偶尔出现有趣的bug。在本篇文章以及以后的几篇

w397090770   2年前 (2016-07-20) 3636℃ 1评论6喜欢

网站建设

WordPress网站性能优化

WordPress网站性能优化
  随着过往记忆大数据技术博客的浏览量逐渐增多(目前日IP达到5k+,PV达到1.5W+),博客的访问速度越来越慢,在高峰时期打开一个页面需要近10s的时间,这样的情况非常的糟糕,没多少人愿意等待近10s,所以优化网站的访问速度迫在眉睫!  先来介绍一下本博客的相关配置信息:博客购买的是腾讯云主机,CentOS 6.6 64位、1

w397090770   2年前 (2016-07-19) 1240℃ 0评论4喜欢

前端框架

AdminLTE:基于Bootstrap3的免费高级管理控制面板主题

AdminLTE:基于Bootstrap3的免费高级管理控制面板主题
  AdminLTE是一个完全响应式管理并基于Bootstrap 3.x的免费高级管理控制面板主题。高度可定制的,易于使用。自适应多种屏幕分辨率,兼容PC端和手机移动端,内置了多个模板页面,包括仪表盘、邮箱、日历、锁屏、登录及注册、404错误、500错误等页面。AdminLTE是基于模块化设计,很容易在其之上定制和重制。本文撰写的时候AdminLTE

w397090770   2年前 (2016-07-17) 14233℃ 0评论23喜欢