欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据
大数据技术博客公众号bigdata_ai
开发爱好者社区:
Java技术范

标签:Hive

Hive

Hive:解决Hive创建文件数过多的问题

Hive:解决Hive创建文件数过多的问题
  今天将临时表里面的数据按照天分区插入到线上的表中去,出现了Hive创建的文件数大于100000个的情况,我的SQL如下:[code lang="sql"]///////////////////////////////////////////////////////////////////// User: 过往记忆 Date: 2015-11-18 Time: 23:24 bolg: 本文地址:/archives/1533 过往记忆博客,专注于hadoop、hive、spark、shark、flume的技术博客,大量

w397090770   5年前 (2015-11-18) 20576℃ 3评论52喜欢

Hive

Hive 1.2.1源码编译

Hive 1.2.1源码编译
  Hive 1.2.1源码编译依赖的Hadoop版本必须最少是2.6.0,因为里面用到了Hadoop的org.apache.hadoop.crypto.key.KeyProvider和org.apache.hadoop.crypto.key.KeyProviderFactory两个类,而这两个类在Hadoop 2.6.0才出现,否者会出现以下编译错误:[ERROR] /home/q/spark/apache-hive-1.2.1-src/shims/0.23/src/main/java/org/apache/hadoop/hive/shims/Hadoop23Shims.java:[43,36] package org.apache.hadoop.cry

w397090770   5年前 (2015-11-11) 12563℃ 11评论6喜欢

Hive

Hive on Spark编程入门指南

Hive on Spark编程入门指南
  先说明一下,这里说的Hive on Spark是Hive跑在Spark上,用的是Spark执行引擎,而不是MapReduce,和Hive on Tez的道理一样。  从Hive 1.1版本开始,Hive on Spark已经成为Hive代码的一部分了,并且在spark分支上面,可以看这里https://github.com/apache/hive/tree/spark,并会定期的移到master分支上面去。关于Hive on Spark的讨论和进度,可以看这里https://

w397090770   5年前 (2015-08-31) 39858℃ 30评论42喜欢

Hive

使用Spark SQL读取Hive上的数据

使用Spark SQL读取Hive上的数据
  Spark SQL主要目的是使得用户可以在Spark上使用SQL,其数据源既可以是RDD,也可以是外部的数据源(比如Parquet、Hive、Json等)。Spark SQL的其中一个分支就是Spark on Hive,也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑,可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。本文就是来介绍如何通过Spark SQL来

w397090770   5年前 (2015-08-27) 69287℃ 19评论35喜欢

Hive

Hive元数据升级

Hive元数据升级
  如果我们Hadoop的core-site.xml文件中的fs.defaultFS配置由于某种原因需要修改,比如Hadoop升级、重新命名fs.defaultFS等。也就是由hdfs://olditeblog变成hdfs://newiteblogle ,如下:[code lang="bash"]<property>  <name>fs.defaultFS</name>  <value>hdfs://olditeblog</value></property>变成<property>  <name>fs.defaultFS</

w397090770   5年前 (2015-08-27) 7852℃ 0评论12喜欢

Flume

Hadoop等大数据学习相关电子书[共85本]

Hadoop等大数据学习相关电子书[共85本]
  下面的大数据学习电子书我会陆续上传,敬请关注。一、Hadoop1、Hadoop Application Architectures2、Hadoop: The Definitive Guide, 4th Edition3、Hadoop Security Protecting Your Big Data Platform4、Field Guide to Hadoop An Introduction to Hadoop, Its Ecosystem, and Aligned Technologies5、Hadoop Operations A Guide for Developers and Administrators6、Hadoop Backup and Recovery Solutions

w397090770   5年前 (2015-08-11) 19776℃ 2评论54喜欢

Hive

Apache Hive ​1.0.1和1.1.1两个版本同时发布

Apache Hive ​1.0.1和1.1.1两个版本同时发布
  Apache Hive ​1.0.1 和 1.1.1两个版本同时发布,他们分别是基于Hive 1.0.0和Hive 1.1.0,这两个版本都同时修复可同一个Bug:LDAP授权provider的漏洞。如果用户在HiveServer2里面使用到LDAP授权模式(hive.server2.authentication=LDAP),并且LDAP使用简单地未认证模式,或者是匿名绑定(anonymous bind),在这种情况下未得到合理授权的用户将得到认证(authe

w397090770   6年前 (2015-05-25) 4668℃ 0评论3喜欢

Hive

Apache Hive 1.2.0正式发布

Apache Hive 1.2.0正式发布
  Apache Hive 1.2.0于美国时间2015年05月18日正式发布,其中修复了大量大Bug,完整邮件内容如下:如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoopThe Apache Hive team is proud to announce the the release of Apache Hive version 1.2.0.The Apache Hive (TM) data warehouse software facilitates querying and managing large datasets residin

w397090770   6年前 (2015-05-19) 5068℃ 0评论4喜欢

Hive

深入浅出Hive视频教程百度网盘免费下载

深入浅出Hive视频教程百度网盘免费下载
  本博客分享的其他视频下载地址:《传智播客Hadoop实战视频下载地址[共14集]》、《传智播客Hadoop课程视频资料[共七天]》、《Hadoop入门视频分享[共44集]》、《Hadoop大数据零基础实战培训教程下载》、《Hadoop2.x 深入浅出企业级应用实战视频下载》、《Hadoop新手入门视频百度网盘下载[全十集]》  本博客收集到的Hadoop学习书

w397090770   6年前 (2015-04-25) 36558℃ 8评论55喜欢

Hive

Hive 1.0.0发布

Hive 1.0.0发布
  美国时间2015年2月4日,Hive 1.0.0正式发布了。该版本是Apache Hive九年来工作的认可,并且开发者们正在继续开发。Apache Hive 1.0.0版本本来是要命名为Hive 0.14.1的,但是社区感觉是时候以1.x.y结构来命名。  虽然被叫做1.0.0版本,但是其中的改变范围很少,主要有两个改变:1、开始为HiveMetaStoreClient定义公开的API(HIVE-3280);2、HiveServ

w397090770   6年前 (2015-02-06) 6453℃ 0评论3喜欢