欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:961
  2. 浏览总数:11,479,756
  3. 评论:3873
  4. 分类目录:103 个
  5. 注册用户数:5841
  6. 最后更新:2018年10月17日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

2016年01月的内容

Spark meetup

上海第七次Spark meetup会议资料分享

上海第七次Spark meetup会议资料分享
  上海Spark meetup第七次聚会将于2016年1月23日(周六)在上海市长宁区金钟路968号凌空SOHO 8号楼 进行。此次聚会由Intel联合携程举办。大会主题  1、开场/Opening Keynote: 张翼,携程大数据平台的负责人  个人介绍:本科和研究生都是浙江大学;2015年加入携程,推动携程大数据平台的演进;对大数据底层框架Hadoop,HIVE,Spark

w397090770   3年前 (2016-01-28) 1907℃ 0评论4喜欢

Spark

在Yarn上运行Apache Zeppelin & Spark

在Yarn上运行Apache Zeppelin & Spark
  默认情况下,Apache Zeppelin启动Spark是以本地模式起的,master的值是local[*],我们可以通过修改conf/zeppelin-env.sh文件里面的MASTER的值如下:[code lang="bash"]export MASTER= yarn-clientexport HADOOP_HOME=/home/q/hadoop/hadoop-2.2.0export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/[/code]然后启动Zeppelin,但是我们有时会发现日志出现了以下的异常信息:ERRO

w397090770   3年前 (2016-01-22) 9307℃ 16评论11喜欢

Spark

Apache Zeppelin & Spark 解析Json异常

Apache Zeppelin & Spark 解析Json异常
  我下载的Apache Zeppelin和Apache Spark版本分别为:0.6.0-incubating-SNAPSHOT和1.5.2,在Zeppelin中使用SQLContext读取Json文件创建DataFrame的过程中出现了以下的异常:[code lanh="scala"]val profilesJsonRdd =sqlc.jsonFile("hdfs://www.iteblog.com/tmp/json")val profileDF=profilesJsonRdd.toDF()profileDF.printSchema()profileDF.show()profileDF.registerTempTable("profiles")

w397090770   3年前 (2016-01-21) 5113℃ 2评论10喜欢

Java

运行Jar包文件签名不合法的问题

运行Jar包文件签名不合法的问题
在使用Maven打包工程运行的时候,有时会出现以下的异常:[code lang="bash"]-bash-4.1# java -cp iteblog-1.0-SNAPSHOT.jar com.iteblog.ClientException in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes at sun.security.util.SignatureFileVerifier.processImpl(SignatureFileVerifier.java:287) at sun.security.util.SignatureFileVerifier.process(Signatu

w397090770   3年前 (2016-01-20) 8046℃ 0评论7喜欢

Spark

Apache Spark DataFrames入门指南:创建DataFrame(2)

Apache Spark DataFrames入门指南:创建DataFrame(2)
  本系列文章翻译自:《scala data analysis cookbook》第二章:Getting Started with Apache Spark DataFrames。原书是基于Spark 1.4.1编写的,我这里使用的是Spark 1.6.0,丢弃了一些已经标记为遗弃的函数。并且修正了其中的错误。  一、从csv文件创建DataFrame    如何做?    如何工作的    附录  二、操作DataFrame   

w397090770   3年前 (2016-01-18) 6855℃ 0评论5喜欢

Spark

Apache Spark DataFrames入门指南:操作DataFrame

Apache Spark DataFrames入门指南:操作DataFrame
  本系列文章翻译自:《scala data analysis cookbook》第二章:Getting Started with Apache Spark DataFrames。原书是基于Spark 1.4.1编写的,我这里使用的是Spark 1.6.0,丢弃了一些已经标记为遗弃的函数。并且修正了其中的错误。  一、从csv文件创建DataFrame    如何做?    如何工作的    附录  二、操作DataFrame   

w397090770   3年前 (2016-01-17) 17439℃ 0评论22喜欢

Spark meetup

上海Spark meetup第七次聚会

上海Spark meetup第七次聚会
  新年伊始,上海Spark meetup第七次聚会将于2016年1月23日(周六)在上海市长宁区金钟路968号凌空SOHO 8号楼 进行。此次聚会由Intel联合携程举办,此次活动特别邀请到来自 携程,Splunk以及intel大数据的专家和大家分享Spark技术及实践经验,幸运听众还会得到一本签名版的Spark技术书籍。 大会主题  1、开场/Opening Keynote: 张翼,携

w397090770   3年前 (2016-01-16) 2255℃ 0评论3喜欢

Spark

Apache Spark DataFrames入门指南:创建DataFrame

Apache Spark DataFrames入门指南:创建DataFrame
  本系列文章翻译自:《scala data analysis cookbook》第二章:Getting Started with Apache Spark DataFrames。原书是基于Spark 1.4.1编写的,我这里使用的是Spark 1.6.0,丢弃了一些已经标记为遗弃的函数。并且修正了其中的错误。  一、从csv文件创建DataFrame    如何做?    如何工作的    附录  二、操作DataFrame   

w397090770   3年前 (2016-01-16) 5069℃ 0评论14喜欢

Spark

Hortonworks上运行Spark on YARN异常解决

Hortonworks上运行Spark on YARN异常解决
我使用的是Spark 1.5.2和HDP 2.2.4.8,在启动spark-shell的时候出现了以下的异常:[code lang="bash"][itebog@www.iteblog.com ~]$ bin/spark-shell --master yarn-client...at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala):10: error: not found: value sqlContext import sqlContext.implicits._:10: error: not found: value sqlContext import sqlContext.sql[/code]你打开Application

w397090770   3年前 (2016-01-15) 3242℃ 0评论2喜欢

Hive

Spark连接Hive的metastore异常

Spark连接Hive的metastore异常
  在本博客的《使用Spark SQL读取Hive上的数据》文章中我介绍了如何通过Spark去读取Hive里面的数据,不过有时候我们在创建SQLContext实例的时候遇到类似下面的异常:[code lang="java"]java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient at org.apache.hadoop.hive.ql.session.SessionState.start(Se

w397090770   3年前 (2016-01-11) 12105℃ 5评论10喜欢