欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:961
  2. 浏览总数:11,495,701
  3. 评论:3873
  4. 分类目录:103 个
  5. 注册用户数:5847
  6. 最后更新:2018年10月17日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

 分类:Java

[电子书]Apache Spark 2.x for Java Developers PDF下载

[电子书]Apache Spark 2.x for Java Developers PDF下载
本书于2017-07由Packt Publishing出版,作者Sourav Gulati, Sumit Kumar,全书662页。关注大数据猿(bigdata_ai)公众号及时获取最新大数据相关电子书、资讯等通过本书你将学到以下知识Process data using different file formats such as XML, JSON, CSV, and plain and delimited text, using the Spark core Library.Perform analytics on data from various data sources such as Kafka, and Flume

zz~~   1年前 (2017-08-22) 3738℃ 0评论17喜欢

JVM体系结构解释

JVM体系结构解释
  每个Java开发人员都知道字节码经由JRE(Java运行时环境)执行。但他们或许不知道JRE其实是由Java虚拟机(JVM)实现,JVM分析字节码,解释并执行它。作为开发人员,了解JVM的架构是非常重要的,因为它使我们能够编写出更高效的代码。本文中,我们将深入了解Java中的JVM架构和JVM的各个组件。JVM  虚拟机是物理机的软件

w397090770   2年前 (2017-01-01) 2762℃ 0评论10喜欢

如何在Java Maven工程中编写Scala代码

如何在Java Maven工程中编写Scala代码
  今天我将介绍如何在Java工程使用Scala代码。对于那些想在真实场景中尝试使用Scala的开发人员来说,会非常有意思。这和你项目中有什么类型的东西毫无关系:不管是Spring还是Spark还是别的。我们废话少说,开始吧。抽象Java Maven项工程  这里我们使用Maven来管理我们的Java项目,项目的结果如下所示:如果想及时了解Spa

w397090770   2年前 (2017-01-01) 4369℃ 0评论18喜欢

实现带有maxBackupIndex属性的DailyRollingFileAppender

实现带有maxBackupIndex属性的DailyRollingFileAppender
前言  如果你尝试使用Apache Log4J中的DailyRollingFileAppender来打印每天的日志,你可能想对那些日志文件指定一个最大的保存数,就像RollingFileAppender支持maxBackupIndex参数一样。不过遗憾的是,目前版本的Log4j (Apache log4j 1.2.17)无法在使用DailyRollingFileAppender的时候指定保存文件的个数,本文将介绍如何修改DailyRollingFileAppender类,使得它

w397090770   3年前 (2016-04-12) 3030℃ 0评论3喜欢

JMX监控权限认证配置

JMX监控权限认证配置
  JMX(Java Management Extensions,即Java管理扩展)是一个为应用程序、设备、系统等植入管理功能的框架。JMX可以跨越一系列异构操作系统平台、系统体系结构和网络传输协议,灵活的开发无缝集成的系统、网络和服务管理应用。启动JMX监控,在启动java程序的时候最少需要在环境变量里面配置以下的选项:[code lang="bash"]-Dcom.sun.m

w397090770   3年前 (2016-03-25) 2859℃ 0评论8喜欢

运行Jar包文件签名不合法的问题

运行Jar包文件签名不合法的问题
在使用Maven打包工程运行的时候,有时会出现以下的异常:[code lang="bash"]-bash-4.1# java -cp iteblog-1.0-SNAPSHOT.jar com.iteblog.ClientException in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes at sun.security.util.SignatureFileVerifier.processImpl(SignatureFileVerifier.java:287) at sun.security.util.SignatureFileVerifier.process(Signatu

w397090770   3年前 (2016-01-20) 8062℃ 0评论7喜欢

Maven/SBT常用的repositorie一览表

Maven/SBT常用的repositorie一览表
  我们在用Maven编译项目的时候有时老是出现无法下载某些jar依赖从而导致整个工程编译失败,这时候我们可以修改jar下载的源(也就是repositorie)即可,下面是Maven的用法,你可以在你项目的pom文件里面加入这些代码:如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop[code lang="JAVA"]<!-- ****

w397090770   4年前 (2014-07-25) 12364℃ 1评论13喜欢

Hive:用Java代码通过JDBC连接Hiveserver

Hive:用Java代码通过JDBC连接Hiveserver
我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive Server所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。Hive提供了jdbc驱动,使得我们可以

w397090770   5年前 (2013-12-17) 57260℃ 6评论48喜欢

Mapreduce程序:从Hadoop1.x升级Hadoop2.x

Mapreduce程序:从Hadoop1.x升级Hadoop2.x
  理论上,在Hadoop 1.x上开发的Mapreduce程序可以在Hadoop 2.x上面运行,Hadoop2.x类库对Hadoop1.x程序的兼容性主要体现在以下几点:   二进制兼容:利用mapred API开发以及编译程序可以直接在Hadoop 2.x运行,不需要重新编译;   源码兼容:利用mapreduce API开发的程序, 需要在Hadoop 2.x上重新编译才能运行;   不兼容部分:mradmin

w397090770   5年前 (2013-12-10) 5477℃ 1评论4喜欢

从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤

从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤
  在《从Hadoop1.x集群升级到Hadoop2.x步骤》文章中简单地介绍了如何从Hadoop1.x集群升级到Hadoop2.x,那里面只讨论了成功升级,那么如果集群升级失败了,我们该如何从失败中回滚呢?这正是本文所有讨论的。本文将以hadoop-0.20.2-cdh3u4升级到Hadoop-2.2.0升级失败后,如何回滚。  1、如果你将Hadoop1.x升级到Hadoop2.x的过程中失败了,当你

w397090770   5年前 (2013-12-05) 5024℃ 1评论5喜欢