在 LinkedIn，我们非常依赖离线数据分析来进行数据驱动的决策。多年来，Apache Spark 已经成为 LinkedIn 的主要计算引擎，以满足这些数据需求。凭借其独特的功能，Spark 为 LinkedIn 的许多关键业务提供支持，包括数据仓库、数据科学、AI/ML、A/B 测试和指标报告。需要大规模数据分析的用例数量也在快速增长。从 2017 年到现在，LinkedIn 的 S w397090770 1个月前 (09-08) 222℃ 0评论3喜欢
随着 Uber 业务的扩张，为其提供支持的基础数据呈指数级增长，因此处理成本也越来越高。 当大数据成为我们最大的运营开支之一时，我们开始了一项降低数据平台成本的举措，该计划将挑战分为三部分：平台效率、供应和需求。 本文将讨论我们为提高数据平台效率和降低成本所做的努力。如果想及时了解Spark、Hadoop或者HBase w397090770 2个月前 (09-05) 126℃ 0评论0喜欢
在安装完 JDK 之后，会自带安装一些常用的小工具，而 jmap 就是其中一个比较常用的。jmap 打印给定进程、core file 或远程调试服务器的共享对象内存映射或堆内存细节。我们可以查看下 jmap 的命令使用：[code lang="bash"]iteblog@iteblog.com:~|⇒ jmapUsage: jmap [option] <pid> (to connect to running process) jmap [option] <executable <co w397090770 3个月前 (08-02) 54℃ 0评论0喜欢
在实际开发过程中，我们可能会每开发一些代码就会把这些代码进行提交，以防止一些意外；但是随着提交的 commits 数越来越多，一方面维护起来不便，另一方面可能会造成版本控制的混乱，为了解决这个问题，我们可以把多个 commit 合并成一个。比如下面这个 MR 一共提交了两次：如果想及时了解Spark、Hadoop或者HBase相关的文 w397090770 3个月前 (07-31) 173℃ 0评论2喜欢
PrestoCon Day 2021 在3月24日于在线的形式举办，会议的议程可以参见这里。这里主要是收集了本次会议的 PPT 和视频等资料供大家学习交流使用。如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：过往记忆大数据下载途径关注微信公众号 过往记忆大数据 或者 Java与大数据架构 并回复 10011 获取。可下载 w397090770 3个月前 (07-31) 85℃ 0评论1喜欢
我们在开发过程中，难免会进行一些误操作，比如下面我们提交 723cc1e commit 的时候把 2b27deb 和 0ff665e 不小心也提交到这个分支了。如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：过往记忆大数据0ff665e 是属于其他还没有合并到 master 分支的 MR，所以我们这里肯定不能把它带上来。我们需要把它删了。值得 w397090770 3个月前 (07-09) 67℃ 0评论1喜欢
网易云音乐作为一个MAU已经超过亿级的业务，在数据仓库、数据体系、数据应用建设是怎么做的？在近日举办的“网易数帆技术沙龙”上，网易云音乐数据专家雷剑波就此话题做了全面的分享，介绍了数仓建设的目标，为此建立的一系列规范和机制，如何通过系统保证这些规范和机制的落地，以及取得的效果。数仓建设痛点与目 w397090770 4个月前 (06-30) 498℃ 0评论1喜欢
使用 MAC 写移动硬盘的时候会出现 Read-only file system，我们可以使用下面方法来解决。[code code="bash"]iteblog: iteblog $ diskutil info /Volumes/Seagate\ Backup\ Plus\ Drive/ Device Identifier: disk2s1 Device Node: /dev/disk2s1[/code]记下上面的 Device Node。然后使用下面命令弹出我们插入的移动硬盘：[code code="bash"]iteblog: iteblog $ hdiutil eje w397090770 10个月前 (01-05) 462℃ 0评论1喜欢
双重检查锁定模式（也被称为"双重检查加锁优化"，"锁暗示"（Lock hint)） 是一种软件设计模式用来减少并发系统中竞争和同步的开销。双重检查锁定模式首先验证锁定条件（第一次检查），只有通过锁定条件验证才真正的进行加锁逻辑并再次验证条件（第二次检查）。该模式在某些语言在某些硬件平台的实现可能是不安全的。有 w397090770 1年前 (2020-06-19) 567℃ 0评论4喜欢
2010年，Facebook 的工程师在 ICDC（IEEE International Conference on Data Engineering） 发表了一篇 《RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems》 的论文，介绍了其为基于 MapReduce 的数据仓库设计的高效存储结构，这就是我们熟知的 RCFile（Record Columnar File）。下面介绍 RCFile 的一些诞生背景和设计。背景早在2010 w397090770 1年前 (2020-06-16) 941℃ 0评论7喜欢
