如今大数据和机器学习已经有了很大的结合，在机器学习里面，因为计算迭代的时间可能会很长，开发人员一般会选择使用 GPU、FPGA 或 TPU 来加速计算。在 Apache Hadoop 3.1 版本里面已经开始内置原生支持 GPU 和 FPGA 了。作为通用计算引擎的 Spark 肯定也不甘落后，来自 Data...... w397090770 6年前 (2019-03-10) 6556℃ 0评论9喜欢
在 《HBase 中加盐（Salting）之后的表如何读取：协处理器篇》 文章中介绍了使用协处理器来查询加盐之后的表，本文将介绍第二种方法来实现相同的功能。我们知道，HBase 为我们提供了 hbase-mapreduce 工程包含了读取 HBase 表的 InputFormat、OutputFormat 等类。这个工程...... w397090770 6年前 (2019-02-26) 3933℃ 0评论16喜欢
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设，同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公...... w397090770 7年前 (2019-02-16) 24330℃ 1评论46喜欢
去年，我整理了2017年成功晋升为Apache TLP的大数据相关项目进行了整理，具体可以参见《盘点2017年晋升为Apache TLP的大数据相关项目》。现在已经进入了2019年了，我在这里给大家整理了2018年成功晋升为 Apache TLP 的大数据相关项目。2018年晋升成 TLP 的项目不多，总共四...... w397090770 7年前 (2019-01-02) 1719℃ 0评论4喜欢
本文来自 submarine 团队投稿。作者： Wangda Tan & Sunil Govindan & Zhankun Tang(这篇博文由网易的刘勋和周全协助编写)。原文地址：https://hortonworks.com/blog/submarine-running-deep-learning-workloads-apache-hadoop/介绍Hadoop 是用于大型企业数据集的分布...... w397090770 7年前 (2019-01-01) 4195℃ 0评论4喜欢
Flink Forward 是由 Apache 官方授权，Apache Flink China社区支持，有来自阿里巴巴，dataArtisans（Apache Flink 商业母公司），华为、腾讯、滴滴、美团以及字节跳动等公司参加的国际型会议。旨在汇集大数据领域一流人才共同探讨新一代大数据计算引擎技术。通过参会不仅可...... w397090770 7年前 (2018-12-22) 4133℃ 0评论17喜欢
本文来自7月26日在上海举行的 Flink Meetup 会议，分享来自于刘康，目前在大数据平台部从事模型生命周期相关平台开发，现在主要负责基于flink开发实时模型特征计算平台。熟悉分布式计算，在模型部署及运维方面有丰富实战经验和深入的理解，对模型的算法及训练有一定的了解。...... zz~~ 7年前 (2018-08-14) 7433℃ 0评论3喜欢
为期三天的 Spark Summit 在美国时间 2018-06-04 ~ 06-06 于旧金山的 Moscone Center 举行，不少人已经注意到，今年的会议已经更名为 Spark+AI, 去年 12 月份时，Databricks 在他们的博客中就已经提到过，2018 年的会议将包括更多人工智能的内容，某种意义上也代表着 Spark ...... w397090770 7年前 (2018-06-18) 3696℃ 0评论14喜欢
Apache Flink 1.5.0 于昨天晚上正式发布了。在过去五个月的时间里，Flink 社区共解决了超过 780 个 issues。完整的 changelog 看这里: https://issues.apache.org/jira/secure/ReleaseNote.jspa?version=12341764&projectId=12315522。如果想及时了解Spark、Hadoop或者Hba...... w397090770 7年前 (2018-05-26) 3147℃ 0评论12喜欢
4月6日，Apache Hadoop 3.1.0 正式发布了，Apache Hadoop 3.1.0 是2018年 Hadoop-3.x 系列的第一个小版本，并且带来了许多增强功能。不过需要注意的是，这个版本并不推荐在生产环境下使用，如果需要在正式环境下使用，请等待 3.1.1 或 3.1.2 版本。如果想及时了解Spark、H...... w397090770 7年前 (2018-04-08) 3662℃ 0评论15喜欢
![Spark Summit North America 201806 全部PPT下载[共147个]](https://www.iteblog.com/pic/spark/spark-summit-north-america-2018-06_iteblog.png)
