我们使用数据库可以快速访问业务数据，但是随着时间的推移，数据库会不断增长，提取信息所需的时间也会更长，数据操作成为瓶颈。这时候我们就需要对数据进行分区（partition）了。分区是将数据库或其组成元素划分为不同的独立部分。数据库分区通常是出于可管理性、性能或可...... w397090770 5年前 (2020-05-14) 1132℃ 0评论2喜欢
物化视图作为一种预计算的优化方式，广泛应用于传统数据库中，如Oracle，MSSQL Server等。随着大数据技术的普及，各类数仓及查询引擎在业务中扮演着越来越重要的数据分析角色，而物化视图作为数据查询的加速器，将极大增强用户在数据分析工作中的使用体验。本文将基于 Spark...... w397090770 5年前 (2020-05-14) 2358℃ 0评论4喜欢
我已经在之前的 《一条 SQL 在 Apache Spark 之旅（上）》、《一条 SQL 在 Apache Spark 之旅（中）》 以及 《一条 SQL 在 Apache Spark 之旅（下）》 这三篇文章中介绍了 SQL 从用户提交到最后执行都经历了哪些过程，感兴趣的同学可以去这三篇文章看看。这篇文章中我们主要...... w397090770 5年前 (2020-05-13) 1849℃ 0评论6喜欢
OpenCSVSerde 使用大家使用 Hive 分析数据的时候，CSV 格式的数据应该是很常见的，所以从 0.14.0 开始（参见 HIVE-7777） Hive 跟我们提供了原生的 OpenCSVSerde 来解析 CSV 格式的数据。从名字可以看出，OpenCSVSerde 是基于 Open-CSV 2.3 类库实现的，其解析 csv 的功能...... w397090770 5年前 (2020-05-04) 2022℃ 0评论4喜欢
五一期间，Redis 6.0.0 稳定版（GA）终于发布，Redis 6.0 最终的发布一共经历了四个 RC（Release Candidate）版，从第一个候选版本的发布到一个稳定版本前后经历了大概四个半月（Redis 6.0 RC1 于 2019-12-19 发布）。Redis 6 是 Redis 有史以来最大的版本，虽然现在发布了 ...... w397090770 5年前 (2020-05-01) 1314℃ 0评论4喜欢
Apache Kafka 2.5.0 稳定版于美国当地时间2020年4月15日正式发布，这个版本包含了一系列的重要功能发布，比较重要的可以特性重要包括：支持 TLS 1.3 (目前默认是用 1.2)Kafka Streams DSL 中支持 Co-groups；Kafka Consumer 支持增量再平衡（Incremental rebalance）为...... w397090770 5年前 (2020-04-19) 1777℃ 0评论3喜欢
序言美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实现了低成本生产与高效查询的平衡。并以此分析不同业务场景下，基于Kylin的MOLAP模式与...... w397090770 5年前 (2020-04-17) 2453℃ 0评论3喜欢
儒略历（Julian calendar）儒略历，是格里历（Gregorian calendar）的前身，由罗马共和国独裁官儒略·凯撒采纳埃及亚历山大的希腊数学家兼天文学家索西琴尼计算的历法，在公元前45年1月1日起执行，取代旧罗马历历法的历法。一年设12个月，大小月交替，四年一闰，平年365日，...... w397090770 5年前 (2020-04-16) 4848℃ 0评论10喜欢
介绍HDFS 归档存储（Archival Storage）是从 Hadoop 2.6.0 开始引入的（参见 HDFS-6584）。归档存储是一种将增长的存储容量与计算容量解耦的解决方案。我们可以在集群中部署一些具有更高密度、更便宜的存储且提供更低计算能力的节点，并且可以用作集群中的冷数据存储器。根...... w397090770 5年前 (2020-04-15) 1835℃ 0评论3喜欢
随着我们使用 Docker 的次数越来越多，我们电脑里面可能已经存在很多 Docker 镜像，大量的镜像会占据大量的存储空间，所有很有必要清理一些不需要的镜像。如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号：iteblog_hadoop镜像的删除在删除镜像之前...... w397090770 5年前 (2020-04-14) 679℃ 0评论1喜欢
