最近使用 Intellij IDEA 打开之前写的 HBase 工程代码，发现里面有个语法错误，但之前都没问题。如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop后面发现，不管你使用的 JDK 是什么版本（我这里用的是 JDK 1.8），Intellij IDEA 设置的 Language Level 都是 1.5，如下：如果想及时了解Spark、Hadoop或者Hbase w397090770 7个月前 (07-12) 11℃ 0评论0喜欢
每个Java开发人员都知道字节码经由JRE（Java运行时环境）执行。但他们或许不知道JRE其实是由Java虚拟机（JVM）实现，JVM分析字节码，解释并执行它。作为开发人员，了解JVM的架构是非常重要的，因为它使我们能够编写出更高效的代码。本文中，我们将深入了解Java中的JVM架构和JVM的各个组件。JVM 虚拟机是物理机的软件 w397090770 2年前 (2017-01-01) 2831℃ 0评论10喜欢
今天我将介绍如何在Java工程使用Scala代码。对于那些想在真实场景中尝试使用Scala的开发人员来说，会非常有意思。这和你项目中有什么类型的东西毫无关系：不管是Spring还是Spark还是别的。我们废话少说，开始吧。抽象Java Maven项工程 这里我们使用Maven来管理我们的Java项目，项目的结果如下所示：如果想及时了解Spa w397090770 2年前 (2017-01-01) 5153℃ 0评论20喜欢
前言 如果你尝试使用Apache Log4J中的DailyRollingFileAppender来打印每天的日志，你可能想对那些日志文件指定一个最大的保存数，就像RollingFileAppender支持maxBackupIndex参数一样。不过遗憾的是，目前版本的Log4j (Apache log4j 1.2.17)无法在使用DailyRollingFileAppender的时候指定保存文件的个数，本文将介绍如何修改DailyRollingFileAppender类，使得它 w397090770 3年前 (2016-04-12) 3303℃ 0评论3喜欢
JMX（Java Management Extensions，即Java管理扩展）是一个为应用程序、设备、系统等植入管理功能的框架。JMX可以跨越一系列异构操作系统平台、系统体系结构和网络传输协议，灵活的开发无缝集成的系统、网络和服务管理应用。启动JMX监控，在启动java程序的时候最少需要在环境变量里面配置以下的选项：[code lang="bash"]-Dcom.sun.m w397090770 3年前 (2016-03-25) 3188℃ 0评论9喜欢
在使用Maven打包工程运行的时候，有时会出现以下的异常：[code lang="bash"]-bash-4.1# java -cp iteblog-1.0-SNAPSHOT.jar com.iteblog.ClientException in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes at sun.security.util.SignatureFileVerifier.processImpl(SignatureFileVerifier.java:287) at sun.security.util.SignatureFileVerifier.process(Signatu w397090770 3年前 (2016-01-20) 9300℃ 0评论7喜欢
我们知道，在Spark中创建RDD的创建方式大概可以分为三种：（1）、从集合中创建RDD；（2）、从外部存储创建RDD；（3）、从其他RDD创建。 而从集合中创建RDD，Spark主要提供了两中函数：parallelize和makeRDD。我们可以先看看这两个函数的声明：[code lang="scala"]def parallelize[T: ClassTag]( seq: Seq[T], numSlices: Int = defaultParalle w397090770 3年前 (2015-10-09) 35424℃ 0评论41喜欢
我们在用Maven编译项目的时候有时老是出现无法下载某些jar依赖从而导致整个工程编译失败，这时候我们可以修改jar下载的源（也就是repositorie）即可，下面是Maven的用法，你可以在你项目的pom文件里面加入这些代码：如果想及时了解Spark、Hadoop或者Hbase相关的文章，欢迎关注微信公共帐号：iteblog_hadoop[code lang="JAVA"]<!-- **** w397090770 5年前 (2014-07-25) 12400℃ 1评论13喜欢
我们可以通过CLI、Client、Web UI等Hive提供的用户接口来和Hive通信，但这三种方式最常用的是CLI；Client 是Hive的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出Hive Server所在节点，并且在该节点启动 Hive Server。 WUI 是通过浏览器访问 Hive。今天我们来谈谈怎么通过HiveServer来操作Hive。Hive提供了jdbc驱动，使得我们可以 w397090770 5年前 (2013-12-17) 58365℃ 6评论50喜欢
理论上，在Hadoop 1.x上开发的Mapreduce程序可以在Hadoop 2.x上面运行，Hadoop2.x类库对Hadoop1.x程序的兼容性主要体现在以下几点： 二进制兼容：利用mapred API开发以及编译程序可以直接在Hadoop 2.x运行，不需要重新编译； 源码兼容：利用mapreduce API开发的程序， 需要在Hadoop 2.x上重新编译才能运行； 不兼容部分：mradmin w397090770 5年前 (2013-12-10) 5568℃ 1评论4喜欢
