欢迎关注大数据技术架构与案例微信公众号:过往记忆大数据
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
过往记忆大数据

Hive0.11查询结果保存到文件并指定列之间的分隔符

  在Hive0.11.0版本新引进了一个新的特性,也就是当用户将Hive查询结果输出到文件,用户可以指定列的分割符,而在之前的版本是不能指定列之间的分隔符,这样给我们带来了很大的不变,在Hive0.11.0之前版本我们一般是这样用的:

hive> insert overwrite local directory '/home/wyp/Documents/result'
hive> select * from test;

保存的文件列之间是用^A(\x01)来分割

196^A242^A3
186^A302^A3
22^A377^A1
244^A51^A2

注意,上面是为了显示方便,而将\x01写作^A,在实际的文本编辑器我们是看不到^A的,而是一个奇怪的符号。
  现在我们可以用Hive0.11.0版本新引进了一个新的特性,指定输出结果列之间的分隔符:

hive> insert overwrite local directory '/home/wyp/Documents/result'
hive> row format delimited
hive> fields terminated by '\t'
hive> select * from test;

再次看出输出的结果

196	242	3
186	302	3
22	377	1
244	51	2

结果好看多了。如果是map类型可以用下面语句来分割map的key和value

hive> insert overwrite local directory './test-04' 
hive> row format delimited 
hive> FIELDS TERMINATED BY '\t'
hive> COLLECTION ITEMS TERMINATED BY ','
hive> MAP KEYS TERMINATED BY ':'
hive> select * from src;
本博客文章除特别声明,全部都是原创!
原创文章版权归过往记忆大数据(过往记忆)所有,未经许可不得转载。
本文链接: 【Hive0.11查询结果保存到文件并指定列之间的分隔符】(https://www.iteblog.com/archives/813.html)
喜欢 (10)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!
(9)个小伙伴在吐槽
  1. 导出到HDFS上使用分隔符为什么不行呢?

    上校2015-01-26 10:21 回复
    • 这和导出到什么地方没关系,你的导出语句是什么?

      w3970907702015-01-27 09:41 回复
      • INSERT OVERWRITE DIRECTORY '/hive/result/three' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT ...
        使用这条语句导出就报错了, 但是改为LOCAL的就可以了,不知道为什么

        上校2015-01-27 09:48 回复
        • 报什么错呢?是不是路径找不到?

          w3970907702015-01-27 10:42 回复
          • FAILED: ParseException line 1:39 cannot recognize input near 'row' 'format' 'delimited' in select clause 报的这个错,

            上校2015-01-27 11:09
        • 你那语法是不是错了啊?

          w3970907702015-01-27 12:10 回复
          • 我也不清楚,如果在INSERT OVERWRITE DIRECTORY加上LOCAL后, INSERT OVERWRITE LOCAL DIRECTORY后执行是正确的,

            上校2015-01-27 12:12
        • 使用
          INSERT OVERWRITE LOCAL DIRECTORY 'hdfs://hive/result/three' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' SELECT ...
          看下是不是可以?

          w3970907702015-01-27 13:55 回复
          • 试过了,也不行, 感觉官方是不是没有提供导致HDFS上并使用分隔符的,

            上校2015-01-27 13:56