新的 Aerospike 版本带来了 Spark 3.0 兼容性

2026-02-07 0 167

新的 Aerospike 版本带来了 Spark 3.0 兼容性

在今天的数字峰会虚拟活动中,实时 NoSQL 数据库播放器 Aerospike 宣布推出其同名产品的新版本。 v5.6 版本增加了一些功能,这些功能旨在优化边缘和“核心”(云或企业数据中心)的实时数据处理和机器学习循环。 这些场景还涉及从边缘数据在核心训练机器学习 (ML) 模型,然后将模型推回到边缘进行推理。

ZDNet 采访了 Aerospike 创始人兼首席产品官 Srini Srinivasan,他向我们简要介绍了促进和优化这种良性数据/ML 循环的三个功能。 他们是:

集合索引:加速访问 Aerospike 集合中的数据(类似于表)。 该公司表示,即使在 PB 级数据库中,此功能也可以快速查询集合。
Aerospike 表达式的增强功能:现在可以将读取和写入操作嵌入到表达式的实现中。 Srinivasan 解释说,用 C 实现的表达式比用户定义的函数执行效率更高,并且使处理更接近数据。
更新了 Aerospike Connect for Spark:此连接器现在与 Apache Spark 3.0 兼容。 这反过来又允许开发人员直接针对 Aerospike 使用 Spark 3.0 及其 API(将数据作为 Spark DataFrames 返回)。
点亮星火
适用于 Spark 的 Aerospike 连接器允许将数据库中的实时和历史数据用于训练 ML 模型,而无需先导出数据。 此外,Srinivasan 解释说,Aerospike 可以管理比内存中可能容纳的更大的数据集,这使得面向内存的 Spark 能够处理大量数据,这可能比 Spark 处理云存储中的 Parquet 文件要快得多。

Spark 将数据操作“下推”给 Aerospike 的次数越多越好,Aerospike 连接器将在 Spark 代码查询时以这种方式积极地委托工作。 然后,此类操作将进一步受益于新版本中也引入的集合索引和表达式增强功能。 Aerospike 的 Presto 连接器(人们会假设是 Trino)的运行方式类似,并以类似的方式使 Presto 用户受益。

(数据)参考框架
这种允许 Spark 开发人员在本地针对外部数据库工作的模式正在获得动力。 其他数据库,如 Splice Machine,已经启用了类似的接口。 Spark 现在是一个标准,它的 DataFrame 正在成为开发人员的数据通用抽象层,用于流处理、查询、数据工程和 ML。

鉴于过去十年出现的大量数据库和分析平台,很高兴看到其中一个平台正在成为与其他几个平台合作的共识工具。 很高兴看到 Aerospike 现在为 Spark 3.0 启用了此功能。

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

申明:本文由第三方发布,内容仅代表作者观点,与本网站无关。对本文以及其中全部或者部分内容的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。本网发布或转载文章出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,也不代表本网对其真实性负责。

左子网 开发教程 新的 Aerospike 版本带来了 Spark 3.0 兼容性 https://www.zuozi.net/56505.html

常见问题
  • 1、自动:拍下后,点击(下载)链接即可下载;2、手动:拍下后,联系卖家发放即可或者联系官方找开发者发货。
查看详情
  • 1、源码默认交易周期:手动发货商品为1-3天,并且用户付款金额将会进入平台担保直到交易完成或者3-7天即可发放,如遇纠纷无限期延长收款金额直至纠纷解决或者退款!;
查看详情
  • 1、描述:源码描述(含标题)与实际源码不一致的(例:货不对板); 2、演示:有演示站时,与实际源码小于95%一致的(但描述中有”不保证完全一样、有变化的可能性”类似显著声明的除外); 3、发货:不发货可无理由退款; 4、安装:免费提供安装服务的源码但卖家不履行的; 5、收费:价格虚标,额外收取其他费用的(但描述中有显著声明或双方交易前有商定的除外); 6、其他:如质量方面的硬性常规问题BUG等。 注:经核实符合上述任一,均支持退款,但卖家予以积极解决问题则除外。
查看详情
  • 1、左子会对双方交易的过程及交易商品的快照进行永久存档,以确保交易的真实、有效、安全! 2、左子无法对如“永久包更新”、“永久技术支持”等类似交易之后的商家承诺做担保,请买家自行鉴别; 3、在源码同时有网站演示与图片演示,且站演与图演不一致时,默认按图演作为纠纷评判依据(特别声明或有商定除外); 4、在没有”无任何正当退款依据”的前提下,商品写有”一旦售出,概不支持退款”等类似的声明,视为无效声明; 5、在未拍下前,双方在QQ上所商定的交易内容,亦可成为纠纷评判依据(商定与描述冲突时,商定为准); 6、因聊天记录可作为纠纷评判依据,故双方联系时,只与对方在左子上所留的QQ、手机号沟通,以防对方不承认自我承诺。 7、虽然交易产生纠纷的几率很小,但一定要保留如聊天记录、手机短信等这样的重要信息,以防产生纠纷时便于左子介入快速处理。
查看详情

相关文章

猜你喜欢
发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务