Elastic Cloud 数据 采集

在谈到将数据传送到 Elastic Cloud 时,有多种选项可用于数据采集。为了更加清晰明了,我们收集了一系列的资源。从视频到文档,您可以查看下面列出的最快入门方法。

Video thumbnail

数据采集方法

现在您或许已经启动了一个部署,并且可能想知道下一步是什么。您可能有一些数据要添加(也就是采集)到 Elasticsearch 中,所以下面我们来探讨一些数据采集 方法。

企业搜索跨网站、应用程序、工作场所内容等搜索信息
可观测性监测云原生系统和分布式系统并获得见解
安全性通过统一 SIEM、终端安全和云安全来检测和应对威胁
日志
来自应用程序服务器、Web 场、IoT 设备或用户触发操作的记录和事件
应用程序痕迹
记录有关程序执行信息的专门日志记录
指标
用于监测、告警和分析趋势的应用程序或系统的时间点测量
安全信息和事件管理数据 (SIEM)
来自云、应用、网络设备、主机、服务器等环境中的安全数据,为检测和响应提供支持
终端检测和响应数据 (EDR)
主机活动数据,用以识别威胁并加快响应速度
文件和目录:预构建的搜索解决方案
简单易用、精心设计的搜索体验,搭配可微调的相关性控件
文件和目录:定制搜索解决方案
利用 Elasticsearch API 和客户端以及通过 Kibana 上传文件的定制数据存储和搜索体验
日志
来自应用程序服务器、Web 场、IoT 设备或用户触发操作的记录和事件
应用程序痕迹
记录有关程序执行信息的专门日志记录
指标
用于监测、告警和分析趋势的应用程序或系统的时间点测量
安全信息和事件管理数据 (SIEM)
来自云、应用、网络设备、主机、服务器等环境中的安全数据,为检测和响应提供支持
终端检测和响应数据 (EDR)
主机活动数据,用以识别威胁并加快响应速度
文件和目录:预构建的搜索解决方案
简单易用、精心设计的搜索体验,搭配可微调的相关性控件
文件和目录:定制搜索解决方案
利用 Elasticsearch API 和客户端以及通过 Kibana 上传文件的定制数据存储和搜索体验
企业搜索跨网站、应用程序、工作场所内容等搜索信息
可观测性监测云原生系统和分布式系统并获得见解
安全性通过统一 SIEM、终端安全和云安全来检测和应对威胁

找不到您要找的集成? 借助 Elastic Beats 定制您自己的 Beat!

想知道 Beats(即 Filebeat、Metricbeat 等)和 Elastic Agent 之间有什么区别?请查看我们的文档

发送·可视化·分析

Elastic Cloud 中的数据采集非常容易。学习如何快速发送数据,以打造强大的可视化功能,加快分析速度。

  • "en": "Elastic Agent", 
"cn": "Elastic 代理"

    Elastic Agent

    Elastic Agent 属于单一的一体化代理,简化了日志、指标、APM 痕迹、合成和保护系统的数据采集过程。借助 Elastic Agent,您可以在自己的生态系统中快速部署,并通过 Kibana 集中管理您的代理。

  • 网络爬虫

    Elastic 网络爬虫是一款简单而又功能强大的程序,可采集公开发布的网络内容,以便迅速从您的网站上搜索这些内容。网络爬虫可以获取内容并对内容进行提炼,然后将您的网页转换为自动编入索引的搜索文档。只需提供一个 URL,其余工作都交给网络爬虫完成。

  • 文件上传

    您是否知道可以将文件直接上传到 Kibana 以进行快速数据探索?如果您有日志文件或带分隔符的 CSV、TSV 或 JSON 文件,则可以上传文件、查看其字段和指标,也可选择将其导入 Elasticsearch。

  • 内容来源连接器

    对于 Workplace Search 体验,可使用预先构建的集成将组织中的所有内容平台都统合到一个视图中,通过设置让用户和群组能够访问对他们最重要的内容,并通过按群组确定数据源的优先级来调整相关性。

  • 语言客户端:预构建的搜索解决方案

    Elastic 企业搜索提供了 HTTP API。开发人员可使用这些 API 将企业搜索与他们的应用程序和服务进行集成。但是,许多开发人员更喜欢使用对他们所选编程语言感觉自然的 API。

  • "en": "Dashboard and spyglass", 
"cn": "仪表板和放大镜", 
"de": "Dashboard und Lupe", 
"es": "Dashboard y lupa", 
"fr": "Tableau de bord et loupe", 
"jp": "ダッシュボードと望遠鏡", 
"kr": "대시보드와 망원경", 
"pt": "Dashboard e lupa"

    语言客户端:定制搜索解决方案

    无论您需要客户端应用程序数据、ECS (Elastic Common Schema) 格式的日志数据、服务器监测指标,还是关系数据库记录与 Elasticsearch 进行同步,您都可以通过 Elastic 的定制搜索解决方案获得量身定制的体验。

Elastic Cloud,方式任您选

通过 Microsoft Azure、Google Cloud 或 AWS 上的简化原生集成,将数据发送到 Elastic Cloud。

  • 利用 Elastic 无服务器转发器,以原生方式将存储在 Amazon S3 的日志采集到 Elastic 中,并可以与其他日志和指标一同查看,实现集中化分析。通过 AWS FireLens 原生集成,以原生方式从 Amazon ECS 采集容器日志,可以收集容器和存储日志,最终加快分析。

  • 通过原生集成,直接在 Microsoft Azure 门户内自动采集日志。在您流式传输日志时轻松监测虚拟机,还能从 Microsoft Azure Spring Cloud 无缝采集日志和指标,帮助您以统一方式洞悉各种 Spring Boot 应用程序的运行情况。

  • 当您使用 Google Dataflow 将事件和日志从 Google Pup/Sub、Google Cloud Storage (GCS) 和 BigQuery 流式传输到 Elastic 时,可以简化您的架构。利用针对 Google Cloud Firestore 的 Elastic App Search 扩展,为移动应用程序和基于 Web 的应用程序添加搜索功能。