数据孤岛:它们是什么以及如何处理它们源代码

2026-02-07 0 998

数据孤岛:它们是什么以及如何处理它们源代码

数据孤岛在 2022 年仍然是一个问题吗? 你打赌。

但是 IT 环境在不断发展; 科技界看待和处理孤岛的方式不断变化。 (另请阅读:打破孤岛:如何整合、清理和永久使用您的数据。)

这就提出了一个问题:数据孤岛会完全消失吗?

本文提供了数据孤岛的背景知识,并探讨了可以帮助您在组织内消除它们的新兴解决方案。

什么是数据孤岛?
数据孤岛是指有价值的业务数据卡在网络或系统中的某个位置,而这些数据的用处不如其他情况。

那么,与数据孤岛相反的是一个系统,数据总是自由地流向任何可以最好地使用它的地方。

不难想象在大型复杂网络中创建数据孤岛的场景类型。 供应商锁定是一个常见的例子,但任何数据无法到达需要去的地方的情况都会造成数据孤岛。

为什么数据孤岛有问题?
信息的自由流动对企业系统至关重要; 如果信息不能共享,它可能就没有那么有用了。

例如,如果孤立的数据库包含有关客户购买历史和产品信息的信息,则公司更广泛的网络将无法利用该数据来告知其战略方向。 (另请阅读:使用集成数据分析平台摧毁孤岛。)

除了增加存储容量之外,数据孤岛也是一个问题,因为它们会降低编译信息的效率。 数据的价值在于它的用例:数据孤岛阻止数据移动到它可以为企业带来最大好处的地方。

为什么数据孤岛如此难以摆脱?
根据 Krishna Subramanian 的一篇文章,公司经常无法消除数据孤岛的主要原因有两个:

计算成本。
存储成本。
这两个原因来自同一个地方:随着公司的发展和获取新类型的数据,他们的数据集变得更大、更复杂——但他们的数据交付系统并不总是以同样的速度增长。 这意味着越来越多的数据被放入冷存储中以供“最终”使用——只是“最终”并不总是会出现。

这既需要计算能力,也需要金钱来维持存储容量。

此外,数据孤岛很难消除,因为它们不受管理的时间越长,它们就会变得越大。 而且它们越大,对于指定处理它们的团队来说,它们就会变得越复杂和昂贵。

简而言之,数据孤岛很难消除——但重要的是要尽量避免它们阻碍企业网络的整体成功。

数据孤岛解决方案
1. 数据湖
当公司将所有结构化和非结构化数据存放到一个集中的存储库中时,就形成了一个数据湖,这些数据保留在那里以便于检索。

然而,就像一个真正的湖,数据湖中的数据是非常无定形的。 如果你需要从一个物理湖中拉出一种特定的鱼,你就必须花一些功夫来弄清楚那条鱼在哪里。 在许多情况下,数据湖也是如此。

换句话说,Subramanian 写了一篇关于数据湖如何在没有良好治理的情况下最终成为数据“垃圾场”的文章。 (另请阅读:数据治理是每个人的事。)

2.ETL与ELT
在处理数据孤岛时,有两个相对较新的数据流程在争夺业务用途:

ETL,代表“提取、转换、加载”。
ELT,代表“提取、加载、转换”。
在这些过程中的每一个过程中,企业都从遗留系统中提取数据,将其加载到新系统中并进行转换。 这两个过程的唯一区别在于业务是在加载过程之前还是之后转换数据; 在 ETL 中,它发生在之前,而在 ELT 中,它发生在之后。

为什么要区分? 一些分析师指出了加载后转换的价值:转换后的数据可能需要更多的资源来加载——因此您可以通过先加载和最后转换来节省这项工作。 但是,这使得转换工作需要在加载之后完成,这对于一些人员和配置不同的业务来说并不方便。

在最近的基于云的 ETL 中,该过程可用于从不同的系统收集数据,或将本地数据移植到指定的云环境中。 基于云的数据存储仓库可以提高整体安全性、效率和容量,许多公司正在使用 AWS 和 Azure 等大型供应商服务来构建这些类型的平台。

3. API
API,即应用程序编程接口,作为数字系统的结缔组织受到了广泛关注。

从理论上讲,API 可以解决很多数据孤岛问题——但仅限于工程师和其他利益相关者可以轻松地将 API 作为管道连接的程度。 不过,这又一次说起来容易做起来难。

4. AI 和 ML 与数据集成
在处理数据孤岛方面,新的人工智能 (AI) 和机器学习 (ML) 引擎也应运而生。

近年来,人工智能和机器学习取得了重大进展,现在能够以前所未有的水平对数据进行分类和移动。 因此,人工智能和机器学习可能代表着打破数据孤岛的未来。

通过使用 AI 和 ML 产生的洞察力和智能,公司可以制定更好的计划来跨分布式网络集成数据。 一种思考方式是将其视为“更智能的聚合系统”,其中 AI 和 ML 应用程序是催化剂,而技术(如 ETL/ELT)是实现这些目标的机制。

结论
一些专家谈到为数据创建“共享文化”。 其他人专门谈论不同的数据治理方法; 其他人仍然提到如何使用 AWS S3 等供应商服务,其中数据存储在对象存储桶中,以便使用元数据进行检索以识别其中的内容。

但除了这些一般性提示之外,有一件事仍然很清楚:数据孤岛可能会以一种或另一种形式存在于我们的企业网络中。 因此,开发新的工具和策略来应对它们至关重要。

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

申明:本文由第三方发布,内容仅代表作者观点,与本网站无关。对本文以及其中全部或者部分内容的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。本网发布或转载文章出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,也不代表本网对其真实性负责。

左子网 开发教程 数据孤岛:它们是什么以及如何处理它们源代码 https://www.zuozi.net/52790.html

常见问题
  • 1、自动:拍下后,点击(下载)链接即可下载;2、手动:拍下后,联系卖家发放即可或者联系官方找开发者发货。
查看详情
  • 1、源码默认交易周期:手动发货商品为1-3天,并且用户付款金额将会进入平台担保直到交易完成或者3-7天即可发放,如遇纠纷无限期延长收款金额直至纠纷解决或者退款!;
查看详情
  • 1、描述:源码描述(含标题)与实际源码不一致的(例:货不对板); 2、演示:有演示站时,与实际源码小于95%一致的(但描述中有”不保证完全一样、有变化的可能性”类似显著声明的除外); 3、发货:不发货可无理由退款; 4、安装:免费提供安装服务的源码但卖家不履行的; 5、收费:价格虚标,额外收取其他费用的(但描述中有显著声明或双方交易前有商定的除外); 6、其他:如质量方面的硬性常规问题BUG等。 注:经核实符合上述任一,均支持退款,但卖家予以积极解决问题则除外。
查看详情
  • 1、左子会对双方交易的过程及交易商品的快照进行永久存档,以确保交易的真实、有效、安全! 2、左子无法对如“永久包更新”、“永久技术支持”等类似交易之后的商家承诺做担保,请买家自行鉴别; 3、在源码同时有网站演示与图片演示,且站演与图演不一致时,默认按图演作为纠纷评判依据(特别声明或有商定除外); 4、在没有”无任何正当退款依据”的前提下,商品写有”一旦售出,概不支持退款”等类似的声明,视为无效声明; 5、在未拍下前,双方在QQ上所商定的交易内容,亦可成为纠纷评判依据(商定与描述冲突时,商定为准); 6、因聊天记录可作为纠纷评判依据,故双方联系时,只与对方在左子上所留的QQ、手机号沟通,以防对方不承认自我承诺。 7、虽然交易产生纠纷的几率很小,但一定要保留如聊天记录、手机短信等这样的重要信息,以防产生纠纷时便于左子介入快速处理。
查看详情

相关文章

猜你喜欢
发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务