欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:977
  2. 浏览总数:11,943,760
  3. 评论:3936
  4. 分类目录:106 个
  5. 注册用户数:6113
  6. 最后更新:2018年12月13日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

 分类:Linux

六种使用Linux命令发送带附件的邮件

六种使用Linux命令发送带附件的邮件
在很多场景中我们会使用Shell命令来发送邮件,而且我们还可能在邮件里面添加附件,本文将介绍使用Shell命令发送带附件邮件的几种方式,希望对大家有所帮助。如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop使用mail命令mail命令是mailutils(On Debian)或mailx(On RedHat)包中的一部分,我们可以使

w397090770   2年前 (2017-02-23) 7139℃ 0评论8喜欢

crontab命令使用介绍

crontab命令使用介绍
基本格式f1 f2 f3 f4 f5 program分 时 日 月 周 命令   第1列表示分钟1~59每分钟用*或者 */1表示;第2列表示小时1~23(0表示0点);第3列表示日期1~31;第4列表示月份1~12;第5列标识号星期0~6(0表示星期天);第6列要运行的命令  当 f1 为 * 时表示每分钟都要执行 program,f2 为* 时表示每小时都要执行程序,

w397090770   4年前 (2015-02-22) 3229℃ 0评论7喜欢

Hive:简单查询不启用Mapreduce job而启用Fetch task

Hive:简单查询不启用Mapreduce job而启用Fetch task
写在前面的话,学Hive这么久了,发现目前国内还没有一本完整的介绍Hive的书籍,而且互联网上面的资料很乱,于是我决定写一些关于《Hive的那些事》序列文章,分享给大家。我会在接下来的时间整理有关Hive的资料,如果对Hive的东西感兴趣,请关注本博客。https://www.iteblog.com/archives/tag/hive-technology/  如果你想查询某个表的某

w397090770   5年前 (2013-11-13) 16024℃ 4评论14喜欢

Hadoop2.2.0完全分布式集群平台安装与设置

Hadoop2.2.0完全分布式集群平台安装与设置
  如果你想搭建伪分布式Hadoop平台,请参见本博客《在Fedora上部署Hadoop2.2.0伪分布式平台》  经过好多天的各种折腾,终于在几台电脑里面配置好了Hadoop2.2.0分布式系统,现在总结一下如何配置。  前提条件:  (1)、首先在每台Linux电脑上面安装好JDK6或其以上版本,并设置好JAVA_HOME等,测试一下java、javac、jps等命令

w397090770   5年前 (2013-11-06) 20042℃ 6评论27喜欢

Hive:从文件中加载执行语句

Hive:从文件中加载执行语句
  Hive可以运行保存在文件里面的一条或多条的语句,只要用-f参数,一般情况下,保存这些Hive查询语句的文件通常用.q或者.hql后缀名,但是这不是必须的,你也可以保存你想要的后缀名。假设test文件里面有一下的Hive查询语句:[code lang="JAVA"]select * from p limit 10;select count(*) from p;[/code]那么我们可以用下面的命令来查询:[cod

w397090770   5年前 (2013-11-06) 8692℃ 2评论5喜欢

Hive0.11.0的新特性

Hive0.11.0的新特性
  1、新增"Explain dependency"语法,以json格式输出执行语句会读取的input table和input partition信息,这样debug语句会读取哪些表就很方便了[code lang="JAVA"]hive> explain dependency select count(1) from p;OK{"input_partitions":[{"partitionName":"default@p@stat_date=20110728/province=bj"},{"partitionName":"default@p@stat_date=20110728/provinc

w397090770   5年前 (2013-11-04) 6863℃ 2评论3喜欢

Hive0.11查询结果保存到文件并指定列之间的分隔符

Hive0.11查询结果保存到文件并指定列之间的分隔符
  在Hive0.11.0版本新引进了一个新的特性,也就是当用户将Hive查询结果输出到文件,用户可以指定列的分割符,而在之前的版本是不能指定列之间的分隔符,这样给我们带来了很大的不变,在Hive0.11.0之前版本我们一般是这样用的:[code lang="JAVA"]hive> insert overwrite local directory '/home/wyp/Documents/result'hive> select * from test;[/code]

w397090770   5年前 (2013-11-04) 18128℃ 9评论8喜欢

Hive安装与配置

Hive安装与配置
  前提条件:安装好相应版本的Hadoop(可以参见《在Fedora上部署Hadoop2.2.0伪分布式平台》)、安装好JDK1.6或以上版本(可以参见《如何在Linux平台命令行环境下安装Java1.6》)  Hive的下载地址:http://archive.apache.org/dist/hive/,你可以选择你适合的版本去下载。本博客下载的Hive版本为0.8.0。你可以运行下面的命令去下载Hive,并解压:[

w397090770   5年前 (2013-11-01) 13872℃ 6评论3喜欢

Hive连接HDFS端口错误解决方法

Hive连接HDFS端口错误解决方法
在我电脑里面:[code lang="JAVA"] Hadoop1.2.1中fs.default.name=hdfs://localhost:9000 Hadoop2.2.0中fs.default.name=hdfs://localhost:8020[/code]所以Hive在Hadoop1.2.1中存放数据的绝对路径为:[code lang="JAVA"]hdfs://localhost:9000/home/wyp/cloud/hive/warehouse/cite[/code]其中、home/wyp/cloud/hive/warehouse/是配置文件设置的,如下:[code lang="JAVA"]<property> <name&g

w397090770   5年前 (2013-10-31) 16572℃ 1评论8喜欢

Hive insert into语句用法

Hive insert into语句用法
  在Hive0.8开始支持Insert into语句,它的作用是在一个表格里面追加数据。标准语法语法如下:[code lang="JAVA"]用法一:INSERT OVERWRITE TABLE tablename1 [PARTITION \(partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] \select_statement1 FROM from_statement;用法二:INSERT INTO TABLE tablename1 [PARTITION \(partcol1=val1, partcol2=val2 ...)] \select_statement1 FROM from_stateme

w397090770   5年前 (2013-10-30) 71691℃ 2评论35喜欢