无服务器提供更多服务

作者

Ken Exner

serverless-launch-diagram-image@2x.png

人们使用 Elasticsearch® 解决最大数据挑战的方式让我们应接不暇。这一点通过超过 40 亿次下载、7 万次提交、1800 名贡献者和来自全球社区的反馈得到了明确体现。Elastic® 在广泛用例中的作用促使我们更轻松地利用搜索和充分利用我们所有的解决方案,从而简化了复杂性。这就是我们为何很高兴用一个全新的无服务器架构来扩展 Elasticsearch 可能性。它简化了运营责任,将 Elasticsearch 著名的高速性能扩展到可扩展的对象存储,并通过专门构建的搜索、可观测性和安全性产品体验精简了工作流程。这种新方式将 Elastic 与我们现有的本地部署和 Elastic Cloud 部署结合使用。

您只需提供数据,其余的交给无服务器

当我们展望下一个十年时,我们认识到需要更简单的用户体验,同时还要提供闪电般快捷的性能。我们知道,许多 Elastic 用户想要完全控制部署和扩展,而有些用户则希望更加简单。SOC 分析师希望保护他们的组织,而不是为了更好地检测威胁而扩展分片。开发人员希望构建搜索应用程序,而不是为实现更快的查询而调优基础架构。SRE 希望确保线上可靠性,而不是设置能够尽可能减少停机时间的配置。我们可能喜欢管理集群,但您不必!Elastic 的无服务器架构消除了运营责任,因此您无需管理集群、配置分片、扩展和设置 ILM。您只需提供数据和查询,平台会负责所有的扩展和管理工作。 

是否厌倦了这样的说法:您无法在保持更长的数据保留周期的同时实现更快的可扩展性,也无法同时平衡成本和降低复杂性?现在您可以了。对于许多工作负载来说,规模和速度都很重要 — 无论是调查像 SolarWinds(它有很长的驻留时间)这样的威胁,在数百个服务中确定中断的根本原因,还是使用向量搜索,通过检索增强生成来支持生成式 AI 工作负载。 

这就是我们的无服务器架构基于重新设计和重新构想的 Elasticsearch 的原因,因为它将计算与存储完全分离,并依赖于对象存储。云对象存储提供了具有成本效益的可扩展性,但带来了延迟,因此需要新的技术来提高速度。值得庆幸的是,我们多年来在优化 Elasticsearch 和 Lucene 索引数据结构以实现高效缓存方面的经验,结合增强的查询时间并行化,克服了这个延迟挑战。这意味着您可以通过内置控件同时享有速度和规模,轻松平衡速度和成本。

未来的新 Elastic 架构

Elastic 新的无服务器架构标志着 Elasticsearch 的重大重组。它的构建是为了利用最新的云原生服务,以轻松的管理提供优化的产品体验。它不仅具备数据湖的存储能力,还拥有与 Elasticsearch 相媲美的快速搜索性能,同时通过无需人工干预的集群管理和扩展,实现了操作的简便性。该架构建立在四个关键原则之上:

  • 分离的计算与存储
  • 分离搜索层和索引层
  • 价格低廉的对象存储作为记录系统
  • 低延迟查询
1 - 架构

完全分离的存储与计算

为了精简集群拓扑,计算和存储现在已完全分离。Elasticsearch 目前提供了各种数据层(热、暖、冷和冻结),以便更好地使数据与硬件要求保持一致。在无服务器架构中,分离存储和计算使数据分层不再适用,从而简化了操作。例如,无服务器将热层和冻结层合并在一起:冻结层索引可以存储大量搜索频率较低的数据,但与热层类似,这些数据可以随时更新和快速查询。 

此外,还有一些简单的控件可以平衡搜索性能和存储成本效益。这支持在不影响性能的情况下快速可靠地独立扩展任何工作负载。

分离索引层和搜索层

Elastic 的无服务器架构支持不同的索引层和搜索层,而不是依赖主实例和副本实例来管理多个工作负载。这种分离意味着可以独立扩展工作负载,并且可以针对每个用例选择和优化硬件。 

此外,这种方法有效地解决了持续存在的搜索和索引工作负载相互干扰的问题。这使得针对任何搜索用例或工作负载优化性能和支出变得更加容易。对于希望防止大量搜索干扰索引操作的高容量日志记录和安全用户,以及希望使用大量索引时功能以获得更好的相关性和搜索性能而又不影响其搜索性能的搜索用户,此属性非常重要。

经济实惠的对象存储

无服务器架构依赖于价格低廉的对象存储来扩大规模,同时降低存储成本。通过利用对象存储实现持久性,Elasticsearch 不再需要将索引操作复制到一个或多个副本以实现持久性,从而减少了索引成本和数据重复。相反,段会持续存在并通过对象存储进行复制。这针对各种需求创造了效率。例如,它通过最大程度地减少存储在本地磁盘上的数据来减少索引层的存储费用。无服务器架构直接索引到对象存储,因此只有一小部分保留为本地数据。对于涉及仅追加操作的场景,只需要为索引保留特定的元数据,从而大大减少了索引所需的本地存储。

大规模降低延迟查询

对象存储可以支持大量数据,但并不以速度和延迟著称。那么,Elastic 如何使用对象存储并保持良好的查询性能呢?我们引入了多项新功能来提供快速的性能。段级查询并行化减少了从对象存储检索数据时的延迟。这样,当数据不在本地缓存中时,可以将更多请求快速推送到对象存储(如 S3)。缓存也通过可重用性和为每种类型的数据利用最佳 Lucene 索引格式而变得“更加智能”。这些只是在对象存储层和缓存层中显著提高性能的部分新功能。

使用无服务器上的专用产品让工作更智能

我们还利用这个机会为无服务器架构构建用于搜索、可观测性和安全性的定制产品。目的是通过精简的用户体验来优化每个工作流的独特需求。这包括更快和持续的加入,更紧密的功能集成,以及针对每个用例的工作优化定制接口。每个产品的显著亮点包括:

  • 搜索:无服务器搜索体验专注于确保开发人员能够快速、轻松地提供卓越的开箱即用型搜索体验。API 是最重要的,结合了简单的方法来采集数据并导入到 Elasticsearch 中。这些管道经过简化,可以快速完成转换和其他任务。新的语言客户端(如 Java、.NET、Python 等)已经创建,可降低初始学习难度和减少完成任务所需的步骤,以及内联文档 — 共同打造精简的开发人员体验,帮助开发人员更快地创造价值。
Video thumbnail
  • 可观测性:无服务器上的可观测性让站点可靠性工程师专注于对他们重要的事情 — 确保系统和应用程序的可靠性。“价值实现时间”是一个重要原则,通过简化日志接入流程,使数据导入过程变得更加简单,并借助 Machine Learning/AIOps 技术帮助 SRE 团队快速识别异常行为并找到根本原因。核心组件是新的托管输入服务,它可以轻松地接受、处理和索引 OpenTelemetry 和 Elastic APM 数据。这些服务建立在多租户架构之上,该架构可以自动扩展以满足现代云原生可观测性的需求,并且完全托管以始终确保可靠性和弹性。
Video thumbnail
  • 安全性:无服务器上的安全性围绕一种新的持续加入方式展开,该方式指导用户采集安全日志、查看仪表板、启用检测规则和调查告警。内置的“进度跟踪器”专门用于优化特定用例,包括安全分析/SIEM、终端安全和云安全。以安全为焦点的导航使所有与安全相关的功能触手可及。Elastic Security Machine Learning 功能已在每个安全项目中启用。例如,基于 ML 的异常检测可用于自动检测规则或基于假设的威胁猎捕。为采集的所有数据提供精心设计和临时的调查和探索。
Video thumbnail

如果您想尝试,请告诉我们

除了我们现有的部署选项之外,Elastic 的无服务器架构和产品还为未来的复杂数据和计算工作负载奠定了基础,即使在大量的历史数据上也可以提供超快速的搜索 — 同时提供最简单的方式来享受 Elasticsearch 在搜索、可观测性和安全性方面的所有创新。它提供了简便性、性能和规模的愿景,包括提供:

  • 专用产品体验:使用针对搜索、安全性和可观测性进行优化的定制产品,工作速度更快。
  • 轻松运营:无需承担运营责任 — 无需管理后端基础架构、进行容量规划、升级或扩展数据。
  • 可扩展的解耦架构:自动、可靠和独立地扩展工作负载。实时响应需求变化,最小化延迟,并确保最快响应。
  • 快速开发和交付:立即开始并使用快速、经济实惠的对象存储来长期查询数据。使用控件轻松扩展以管理性能和支出。

欢迎和我们一起实现无服务器愿景,并抢先尝试 — 立即申请加入早期用户计划

本博文所描述的任何特性或功能的发布及上市时间均由 Elastic 自行决定。当前尚未发布的任何功能或特性可能无法按时提供或根本不会提供。