返回开发者新闻

Presto SQL 查询引擎和 PrestoCon 相关资讯

2022年11月29日发布者:Philip Bell

各种各样的公司都在使用开源 Presto SQL 查询引擎,以处理日益庞大的数据工作流。为了支持电子商务、云端、安全和其他领域,这些公司都开始使用 Presto。不仅许多公司都使用 Presto,这些公司的员工也是 Presto 开源社群的积极贡献者。

为了支持该社群,Presto 会在全球范围内组织见面会,并举办 PrestoCon 年度会议,在此期间,专家和贡献者将齐聚一堂,交流知识。今年的 PrestoCon 由 Linux 基金会主办,将于 12 月 7 日至 8 日在加利福尼亚州的山景城召开。这篇博文将介绍 Presto 的一些基础要素,以及今年 PrestoCon 的活动内容。

什么是 Presto?

Presto 是一个面向数据平台团队的分布式 SQL 查询引擎。Presto 用户可以使用 ANSI SQL 对多元化的联合来源中的数据执行交互式查询。通过查询引擎,数据科学家和分析师可以专注于构建面板以及利用 BI 工具,如此一来,数据工程师便可重点关注存储和管理,同时通过统一的连接层进行通信。

简而言之,科学家无需考虑数据的存储方式或存储位置,工程师也无需对所管理数据源的每个用例执行优化。您可以在下方观看近期的 ELI5 视频,进一步了解 Presto。

说明:点击上方图片,即可观看视频。

开发 Presto 的目的是为了解决 PB 级多源数据查询需要数个小时或数天才能返回结果的问题。这些资源和时间限制会导致无法进行实时分析。在大多数情况下,Presto 在一秒之内即可返回此类相同查询的结果,从而实现交互式数据探索。

Presto 不仅具有极强的可缩放性,而且可扩展,让您可以为 Presto 尚不支持的任何数据源构建自己的接口。此外,Presto 还支持对各种文件类型进行较低水平的查询处理。Meta 已将 Presto 开源,后于 2019 年 12 月将 Presto 捐赠给 Linux 基金会。

以下是为社群的新用户提供的一些 Presto 资源:

什么是 PrestoCon?

PrestoCon 每年都会在湾区举行,并由 Linux 基金会担任主办方。今年,这项活动将于 12 月 7 日至 8 日于计算机历史博物馆举行。您可以在此报名。在每年的 PrestoCon 上,您都可以了解到该平台的最新重大进展、不同的组织如何使用 Presto,以及技术指导委员会在来年针对 Presto 有何计划。

Presto 的可缩放性非常出众,每年我们都会听到一些小型初创公司以及像 Meta 和 Uber 这样的行业领导者在大大小小的不同用例中使用 Presto 平台。如果您希望为开源项目作出贡献,PrestoCon 是一个绝佳的机会,不仅可以与业内人士进行交流,还可以听取技术指导委员会对来年项目的规划。

了解 2022 年 PrestoCon 动态:

Presto 可用于哪些场景?

自 2013 年 11 月发布以来,Presto 一直都是 Meta 和其他大型公司(包括 Uber 和 Twitter)的大型数据管道中不可或缺的一部分。

最常见的用例便是将商业情报工具与组织内的海量数据集关联。这使关键问题能够更快得到解答,并可提升数据导向型决策的效率。

Presto 如何运作?

首先,协调器会接收您的语句,并将其解析为查询。内部计划程序会生成一个包含多个阶段的优化计划,这些阶段会被进一步划分为多项任务。然后,系统会将这些任务分配给工作节点,进行并行处理。

之后,工作节点会使用相关接口从来源中提取数据。

每项任务的输出均由工作节点返回,直至相关阶段完成。一个阶段的输出由最终工作节点返回到下一阶段(在此阶段,必须执行新一轮的任务)。

各个阶段的结果经过组合,最后将原始语句的最终结果返回给协调器,然后由协调器返回给客户。

我如何参与其中?

如要开始使用 Presto,请前往 prestodb.io 并点击入门指南

如果您有任何问题或需要帮助,欢迎加入 Presto Slack 频道。访问 Presto 网站上的社群页面,了解您可以参与其中的所有方式,并寻找对 Presto 感兴趣的其他用户和开发者。

如想作出贡献,请前往 GitHub 代码库,并仔细阅读贡献者指南

我可以在哪里了解详情?

如要进一步了解 Presto,请浏览其网站,获取安装指南、用户指南、会议演讲和示例。

如果可以,请务必观看之前的 Presto 演讲,并参与年度 PrestoCon 活动。

如需了解有关 Meta Open Source 的更多信息,请访问我们的 Open Source 网站、订阅我们的 YouTube 频道,或在 TwitterFacebookLinkedIn 上关注我们。