您当前的位置:首页 >> 快讯 >  
了解图形数据库的规模限制
来源: 互联网      时间:2023-04-23 09:13:27

图数据库和模型已经存在了十多年,并且是从NoSQL运动中出现的最具影响力的技术之一。

图形数据模型本机设计为关注数据内部和数据之间的关系,将数据表示为由边连接的节点。因此,图模型与人类经常思考和交谈的方式惊人地相似。


(资料图片)

图中的节点-边-节点模式直接对应于英语等语言常见的主-谓-宾模式。因此,如果您曾经在白板上使用过思维导图技术或图表化想法,那么您已经创建了一个图表。

图形数据模型已成为数据科学家将人工智能(AI) 应用于从欺诈检测和制造控制系统到推荐引擎和客户 360 度的所有领域的标准工具包的一部分。

鉴于这种广泛的适用性,Gartner 认为,到 2025 年,图形数据库技术将用于80% 以上的数据和分析创新,包括实时事件流,也就不足为奇了。但随着采用的加速,限制和挑战正在出现。图数据库面临的最大限制之一是它们无法扩展。

现代数据生成的数量和速度

自十年前最新一代的图形数据库出现以来,情况发生了很大变化。企业正在处理以前难以想象的大量数据以进行潜在查询。这些数据通过各种渠道进入企业并流过企业,企业希望实时对这些信息采取行动。

最初的图形设计无法想象当今庞大的数据量或使这些数据发挥作用所需的计算能力。不仅仅是数据量拖累了图形数据库。这是数据的速度 。

虽然图形数据库在计算中等大小的静态数据集方面表现出色,但当需要对流数据进行实时操作时,它们会变得特别孤立,并且会遭受重大权衡。流媒体正在积极地移动 数据;它不断来自不同的来源。

企业希望在事件处理管道中立即采取行动,因为当某些事件没有被迅速捕获时,当它们发生时,采取行动的机会就消失了。例如,安全事件、交易处理(如欺诈或信用验证)以及自动化的机器对机器操作。

异常和模式需要使用可以自动化(或至少升级)操作的 AI 和 ML 算法来识别。并且这种识别需要在自动操作可以继续之前发生。

根本就没有为这种情况构建图形数据库。它们通常被限制为每秒数百或数千个事件。但是今天的企业需要能够以每秒数百万个事件的速度处理,在某些高级用例中,甚至需要数千万个事件。

图形系统处理数据的速度以及它们可以处理多少复杂性(例如查询中的多少跳)都存在硬性限制。由于这些限制,图形系统通常不会被使用。由于图形系统没有被使用,数据工程团队别无选择,只能重新创建分布在其微服务架构中的类似图形数据库的功能。

自定义数据管道开发的兴起

这些实时查询事件流的变通方法需要付出很大的努力。开发人员通常会求助于 Flink 和 ksqlDB 等事件流处理系统,这使得使用熟悉的SQL查询语法来查询事件流成为可能,但并不容易。

企业拥有数据工程师团队数月或数年开发广泛而复杂的微服务架构以满足流数据的规模和速度需求的情况并不少见。然而,这些系统往往缺乏有效地在流中找到复杂模式所需的表达性查询结构。

如前所述,为了以企业所需的数量和速度运行,这些系统必须做出艰难的权衡,从而导致重大限制。

例如,时间窗口可以限制系统连接在很窄的时间间隔(通常以秒或分钟为单位)内未到达的事件的能力。这意味着,与其提供一些关键的洞察力或业务价值,不如简单地忽略一个事件,如果它迟到了几秒钟就被忽略了。

即使有时间窗等代价高昂的限制,事件流处理系统也取得了成功。许多甚至可以扩展到每秒处理数百万个事件,但需要付出巨大的努力和限制,无法提供图形数据模型的全部功能。

创新将满足需求

对即时事件数据流的洞察力及其提供的价值的需求从未如此之高。随着采用的加速,企业应该期望看到新的数据基础设施出现,以消除许多可能阻碍图形数据库模型力量的规模斗争。

标签:

X 关闭

X 关闭