欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:977
  2. 浏览总数:11,943,350
  3. 评论:3936
  4. 分类目录:106 个
  5. 注册用户数:6113
  6. 最后更新:2018年12月13日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
大数据猿:
bigdata_ai

标签:Java

Java

JVM体系结构解释

JVM体系结构解释
  每个Java开发人员都知道字节码经由JRE(Java运行时环境)执行。但他们或许不知道JRE其实是由Java虚拟机(JVM)实现,JVM分析字节码,解释并执行它。作为开发人员,了解JVM的架构是非常重要的,因为它使我们能够编写出更高效的代码。本文中,我们将深入了解Java中的JVM架构和JVM的各个组件。JVM  虚拟机是物理机的软件

w397090770   2年前 (2017-01-01) 2797℃ 0评论10喜欢

Java

如何在Java Maven工程中编写Scala代码

如何在Java Maven工程中编写Scala代码
  今天我将介绍如何在Java工程使用Scala代码。对于那些想在真实场景中尝试使用Scala的开发人员来说,会非常有意思。这和你项目中有什么类型的东西毫无关系:不管是Spring还是Spark还是别的。我们废话少说,开始吧。抽象Java Maven项工程  这里我们使用Maven来管理我们的Java项目,项目的结果如下所示:如果想及时了解Spa

w397090770   2年前 (2017-01-01) 4755℃ 0评论18喜欢

Java

实现带有maxBackupIndex属性的DailyRollingFileAppender

实现带有maxBackupIndex属性的DailyRollingFileAppender
前言  如果你尝试使用Apache Log4J中的DailyRollingFileAppender来打印每天的日志,你可能想对那些日志文件指定一个最大的保存数,就像RollingFileAppender支持maxBackupIndex参数一样。不过遗憾的是,目前版本的Log4j (Apache log4j 1.2.17)无法在使用DailyRollingFileAppender的时候指定保存文件的个数,本文将介绍如何修改DailyRollingFileAppender类,使得它

w397090770   3年前 (2016-04-12) 3172℃ 0评论3喜欢

Java

JMX监控权限认证配置

JMX监控权限认证配置
  JMX(Java Management Extensions,即Java管理扩展)是一个为应用程序、设备、系统等植入管理功能的框架。JMX可以跨越一系列异构操作系统平台、系统体系结构和网络传输协议,灵活的开发无缝集成的系统、网络和服务管理应用。启动JMX监控,在启动java程序的时候最少需要在环境变量里面配置以下的选项:[code lang="bash"]-Dcom.sun.m

w397090770   3年前 (2016-03-25) 3032℃ 0评论9喜欢

Java

运行Jar包文件签名不合法的问题

运行Jar包文件签名不合法的问题
在使用Maven打包工程运行的时候,有时会出现以下的异常:[code lang="bash"]-bash-4.1# java -cp iteblog-1.0-SNAPSHOT.jar com.iteblog.ClientException in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes at sun.security.util.SignatureFileVerifier.processImpl(SignatureFileVerifier.java:287) at sun.security.util.SignatureFileVerifier.process(Signatu

w397090770   3年前 (2016-01-20) 8689℃ 0评论7喜欢

Spark

Spark中parallelize函数和makeRDD函数的区别

Spark中parallelize函数和makeRDD函数的区别
  我们知道,在Spark中创建RDD的创建方式大概可以分为三种:(1)、从集合中创建RDD;(2)、从外部存储创建RDD;(3)、从其他RDD创建。  而从集合中创建RDD,Spark主要提供了两中函数:parallelize和makeRDD。我们可以先看看这两个函数的声明:[code lang="scala"]def parallelize[T: ClassTag]( seq: Seq[T], numSlices: Int = defaultParalle

w397090770   3年前 (2015-10-09) 34275℃ 0评论40喜欢

Java

Maven/SBT常用的repositorie一览表

Maven/SBT常用的repositorie一览表
  我们在用Maven编译项目的时候有时老是出现无法下载某些jar依赖从而导致整个工程编译失败,这时候我们可以修改jar下载的源(也就是repositorie)即可,下面是Maven的用法,你可以在你项目的pom文件里面加入这些代码:如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop[code lang="JAVA"]<!-- ****

w397090770   4年前 (2014-07-25) 12389℃ 1评论13喜欢

Hadoop

Hive:用Java代码通过JDBC连接Hiveserver

Hive:用Java代码通过JDBC连接Hiveserver
我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信,但这三种方式最常用的是CLI;Client 是Hive的客户端,用户连接至 Hive Server。在启动 Client 模式的时候,需要指出Hive Server所在节点,并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。Hive提供了jdbc驱动,使得我们可以

w397090770   5年前 (2013-12-17) 57901℃ 6评论49喜欢

Guava

Mapreduce程序:从Hadoop1.x升级Hadoop2.x

Mapreduce程序:从Hadoop1.x升级Hadoop2.x
  理论上,在Hadoop 1.x上开发的Mapreduce程序可以在Hadoop 2.x上面运行,Hadoop2.x类库对Hadoop1.x程序的兼容性主要体现在以下几点:   二进制兼容:利用mapred API开发以及编译程序可以直接在Hadoop 2.x运行,不需要重新编译;   源码兼容:利用mapreduce API开发的程序, 需要在Hadoop 2.x上重新编译才能运行;   不兼容部分:mradmin

w397090770   5年前 (2013-12-10) 5525℃ 1评论4喜欢

Hadoop

从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤

从Hadoop1.x集群升级到Hadoop2.x失败回滚步骤
  在《从Hadoop1.x集群升级到Hadoop2.x步骤》文章中简单地介绍了如何从Hadoop1.x集群升级到Hadoop2.x,那里面只讨论了成功升级,那么如果集群升级失败了,我们该如何从失败中回滚呢?这正是本文所有讨论的。本文将以hadoop-0.20.2-cdh3u4升级到Hadoop-2.2.0升级失败后,如何回滚。  1、如果你将Hadoop1.x升级到Hadoop2.x的过程中失败了,当你

w397090770   5年前 (2013-12-05) 5048℃ 1评论5喜欢