欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:961
  2. 浏览总数:11,509,446
  3. 评论:3873
  4. 分类目录:103 个
  5. 注册用户数:5853
  6. 最后更新:2018年10月17日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

Hive0.11查询结果保存到文件并指定列之间的分隔符

  在Hive0.11.0版本新引进了一个新的特性,也就是当用户将Hive查询结果输出到文件,用户可以指定列的分割符,而在之前的版本是不能指定列之间的分隔符,这样给我们带来了很大的不变,在Hive0.11.0之前版本我们一般是这样用的:

hive> insert overwrite local directory '/home/wyp/Documents/result'
hive> select * from test;

保存的文件列之间是用^A(\x01)来分割

196^A242^A3
186^A302^A3
22^A377^A1
244^A51^A2

注意,上面是为了显示方便,而将\x01写作^A,在实际的文本编辑器我们是看不到^A的,而是一个奇怪的符号。
  现在我们可以用Hive0.11.0版本新引进了一个新的特性,指定输出结果列之间的分隔符:

hive> insert overwrite local directory '/home/wyp/Documents/result'
hive> row format delimited
hive> fields terminated by '\t'
hive> select * from test;

再次看出输出的结果

196	242	3
186	302	3
22	377	1
244	51	2

结果好看多了。如果是map类型可以用下面语句来分割map的key和value

hive> insert overwrite local directory './test-04' 
hive> row format delimited 
hive> FIELDS TERMINATED BY '\t'
hive> COLLECTION ITEMS TERMINATED BY ','
hive> MAP KEYS TERMINATED BY ':'
hive> select * from src;
本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Hive0.11查询结果保存到文件并指定列之间的分隔符】(https://www.iteblog.com/archives/813.html)
喜欢 (8)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!
(9)个小伙伴在吐槽
  1. 导出到HDFS上使用分隔符为什么不行呢?
    上校2015-01-26 10:21 回复
    • 这和导出到什么地方没关系,你的导出语句是什么?
      w3970907702015-01-27 09:41 回复
      • INSERT OVERWRITE DIRECTORY '/hive/result/three' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT ...使用这条语句导出就报错了, 但是改为LOCAL的就可以了,不知道为什么
        上校2015-01-27 09:48 回复
        • 报什么错呢?是不是路径找不到?
          w3970907702015-01-27 10:42 回复
          • FAILED: ParseException line 1:39 cannot recognize input near 'row' 'format' 'delimited' in select clause 报的这个错,
            上校2015-01-27 11:09
        • 你那语法是不是错了啊?
          w3970907702015-01-27 12:10 回复
          • 我也不清楚,如果在INSERT OVERWRITE DIRECTORY加上LOCAL后, INSERT OVERWRITE LOCAL DIRECTORY后执行是正确的,
            上校2015-01-27 12:12
        • 使用INSERT OVERWRITE LOCAL DIRECTORY 'hdfs://hive/result/three' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT ...看下是不是可以?
          w3970907702015-01-27 13:55 回复
          • 试过了,也不行, 感觉官方是不是没有提供导致HDFS上并使用分隔符的,
            上校2015-01-27 13:56