Hadoop的一大基本原则是移动计算的开销要比移动数据的开销小。因此，Hadoop通常是尽量移动计算到拥有数据的节点上。这就使得Hadoop中读取数据的客户端DFSClient和提供数据的Datanode经常是在一个节点上，也就造成了很多“Local Reads”。最初设计的时候，这种Local Reads和R...... w397090770 7年前 (2018-07-22) 160℃ 0评论0喜欢
本文所列的 Hive 函数均为 Hive 内置的，共计294个，Hive 版本为 3.1.0。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop!! a - Logical not，和not逻辑操作符含义一致hive> select !(true);OKfalse!=a != b - Re...... w397090770 7年前 (2018-07-22) 9839℃ 0评论10喜欢
本文是对 Gilbert and Lynch's specification and proof of the CAP Theorem 文章的概括版本。大部分内容参照 An Illustrated Proof of the CAP Theorem 文章的。什么是 CAP 定理CAP 定理是分布式系统中的基本定理，这个理论表明任何分布式系统最多可以满足以下三个属性中...... w397090770 7年前 (2018-07-17) 3067℃ 1评论12喜欢
最近使用 Intellij IDEA 打开之前写的 HBase 工程代码，发现里面有个语法错误，但之前都没问题。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop后面发现，不管你使用的 JDK 是什么版本（我这里用的是 JDK 1.8），Intellij IDEA ...... w397090770 7年前 (2018-07-12) 6274℃ 0评论4喜欢
本文基于 A Guide To The Kafka Protocol 2017-06-14 的版本 v114 进行翻译的。简介本文档涵盖了 Kafka 0.8 及更高版本的通信协议实现。它旨在提供一个可读的，涵盖可请求的协议及其二进制格式，以及如何正确使用他们来实现一个客户端的协议指南。本文假设您已经了解了 Ka...... w397090770 7年前 (2018-07-11) 4307℃ 1评论12喜欢
问题我们都知道，Hive 内部提供了大量的内置函数用于处理各种类型的需求，参见官方文档：Hive Operators and User-Defined Functions (UDFs)。我们从这些内置的 UDF 可以看到两个用于解析 Json 的函数：get_json_object 和 json_tuple。用过这两个函数的同学肯定知道，其职...... w397090770 7年前 (2018-07-04) 20304℃ 0评论34喜欢
在本文中，我将介绍八个基本的 Docker 容器命令，这些命令对于在 Docker 容器上执行基本操作很有用，比如运行，列表，停止，查看日志，删除等等。如果你对 Docker 的概念不熟悉，推荐你推荐你到网上查看相关的入门介绍，这篇文章就不详细介绍了。 现在我们赶快进入要了解的...... w397090770 7年前 (2018-06-27) 1941℃ 0评论6喜欢
为期三天的 Spark Summit 在美国时间 2018-06-04 ~ 06-06 于旧金山的 Moscone Center 举行，不少人已经注意到，今年的会议已经更名为 Spark+AI, 去年 12 月份时，Databricks 在他们的博客中就已经提到过，2018 年的会议将包括更多人工智能的内容，某种意义上也代表着 Spark ...... w397090770 7年前 (2018-06-18) 3696℃ 0评论14喜欢
如果你使用 Git 上传大于 100M 的文件时，你会遇到如下的问题：iteblog@www.iteblog.com /d/spark-summit-north-america-2018-06 (master)$ git push origin masterfatal: AggregateException encountered. ▒▒▒▒һ▒▒▒▒▒▒▒▒▒▒Username for 'https://github.com':...... w397090770 7年前 (2018-06-17) 7704℃ 0评论7喜欢
Elasticsearch 6.3 于前天正式发布，其中带来了很多新特性，详情请参见：https://www.elastic.co/blog/elasticsearch-6-3-0-released。这个版本最大的亮点莫过于内置支持 SQL 模块！我在早些时间就说过 Elasticsearch 将会内置支持 SQL，参见：ElasticSearch内置也将支持SQL...... w397090770 7年前 (2018-06-15) 9024℃ 3评论14喜欢
![Spark Summit North America 201806 全部PPT下载[共147个]](https://www.iteblog.com/pic/spark/spark-summit-north-america-2018-06_iteblog.png)
