Elasticsearch-Features

Elasticsearch verwendet standardmäßige RESTful APIs und JSON. Außerdem entwickeln und pflegen wir Clients in vielen anderen Sprachen, wie Java, Python, .NET, SQL und PHP. Dazu ist unsere Community fleißig dabei, weitere Clients zu entwickeln. Sie sind nutzerfreundlich, intuitiv und setzen – ganz im Stil von Elasticsearch – Ihrem Ideenreichtum keine Grenzen.

Elasticsearch stellt eine Vielzahl von Knoten bereit, unter anderem einen speziellen Knoten für die Dateningestion. Ingest-Knoten können Vorverarbeitungs-Pipelines ausführen, die aus einem oder mehreren Ingest-Prozessoren bestehen. Je nachdem, welche Art von Operation die Ingest-Prozessoren ausführen, und welche Ressourcen benötigt werden, kann es sinnvoll sein, spezielle Ingest-Knoten für bestimmte Aufgaben einzurichten.

Beats sind Open-Source-Datenshipper, die Sie als Agents auf Ihren Servern installieren, um Betriebsdaten an Elasticsearch oder Logstash zu senden. Elastic stellt Beats bereit, mit denen Sie eine Vielzahl gängiger Logs, Metriken und anderer Datentypen erfassen können.

Logstash ist eine Open-Source-Datensammlungsengine mit Pipelining-Funktionen in Echtzeit. Logstash kann Daten aus verschiedenen Quellen dynamisch kombinieren und die Daten für Ziele Ihrer Wahl normalisieren. Bereinigen und demokratisieren Sie Ihre Daten für verschiedenste erweiterte Downstream-Analyse und Visualisierungs-Anwendungsfälle.

Falls Sie einen sehr speziellen Anwendungsfall lösen müssen, ermutigen wir Sie dazu, einen Community Beat zu erstellen. Wir haben eine Infrastruktur eingerichtet, um den Prozess zu vereinfachen. Die komplett in Go geschriebene libbeat-Bibliothek stellt die API bereit, die sämtliche Beats verwenden, um ihre Daten nach Elasticsearch zu übertragen, die Eingabeoptionen zu konfigurieren, Logging zu implementieren, und vieles mehr.

Mit dem Elastic Common Schema (ECS) können Sie Daten aus verschiedenen Quellen in einer einheitlichen Form analysieren. So können Sie Erkennungsregeln, Machine-Learning-Jobs, Dashboards und andere Security-Inhalte flexibler verwenden, Suchen enger eingrenzen und sich die Namen von Feldern einfacher merken.

Verwenden Sie einen Ingest-Knoten, um Dokumente vor der eigentlichen Indexierung vorzuverarbeiten. Der Ingest-Knoten akzeptiert Bulk- und Indexanfragen, wendet Transformationen an und übergibt die Dokumente anschließend zurück an den Index oder die Bulk-APIs. Der Ingest-Knoten stellt mehr als 25 verschiedene Prozessoren bereit, darunter u. a. „append“, „convert“, „date“, „dissect“, „drop“, „fail“, „grok“, „join“, „remove“, „set“, „split“, „sort“ und „trim“.

Bei der Analyse wird Text, zum Beispiel der Text einer E-Mail, in Token oder Begriffe konvertiert, die anschließend zum invertierten Index hinzugefügt werden, um sie durchsuchbar zu machen. Für die Analyse wird entweder ein integrierter oder ein nutzerdefinierter Analyzer verwendet werden, der pro Index mit einer Kombination aus Tokenizern und Filtern definiert wird.

Ein Tokenizer empfängt einen Stream von Zeichen, unterteilt ihn in einzelne Token (normalerweise Wörter) und gibt einen Token-Stream aus. Der Tokenizer ist außerdem dafür verantwortlich, die Reihenfolge oder Position der einzelnen Begriffe (für Suchen nach Sätzen oder der Nähe von Wörtern zueinander) sowie die Zeichen-Offsets für Anfang und Ende des ursprünglichen Worts zu speichern, das der Begriff abbildet (zum Hervorheben von Such-Snippets). Elasticsearch enthält eine Reihe von integrierten Tokenizern, mit denen Sie nutzerdefinierte Analyzer erstellen können.

Token-Filter nehmen einen Stream von Tokens von einem Tokenizer entgegen und können Token modifizieren (z. B. in Kleinbuchstaben umwandeln), Token löschen (z. B. Trennwörter entfernen) oder Token hinzufügen (z. B. Synonyme). Elasticsearch enthält eine Reihe von vorkonfigurierten Token-Filtern, mit denen Sie nutzerdefinierte Analyzer erstellen können.

Suchen Sie in Ihrer eigenen Sprache. Elasticsearch bietet mehr als 30 verschiedene Sprach-Analyzer an, darunter auch viele Sprachen mit nicht-lateinischem Alphabet wie etwa Russisch, Arabisch und Chinesisch.

Felder und Mappingtypen müssen vor der Verwendung nicht definiert werden. Dank dem dynamischen Mapping werden neue Feldnamen automatisch hinzugefügt, wenn Sie ein Dokument indexieren.

Mit dem Match-Anreicherungsprozessor können Nutzer:innen während des Ingestierens Daten-Lookups ausführen und den Index ermitteln, aus dem angereicherte Daten geholt werden sollen. Das hilft Beats-Nutzer:innen, die ihren Daten ein paar Elemente hinzufügen müssen – statt zwischen Beats und Logstash hin- und herwechseln zu müssen, können die Nutzer:innen direkt in der Ingestion-Pipeline nachsehen. Außerdem hilft der Prozessor dabei, Daten zu normalisieren und so zu besseren Analytics-Ergebnissen und gängigeren Abfragen zu kommen.

Der Geo-Match-Anreicherungsprozessor ist eine nützliche und praktische Möglichkeit, die Suche und Aggregation zu verbessern, indem die Geodaten der Nutzer:innen genutzt werden, ohne dass Abfragen oder Aggregationen mittels Geokoordinaten definiert werden müssen. Wie auch schon beim Match-Anreicherungsprozessor können Nutzer:innen während des Ingestierens Daten-Lookups ausführen und den optimalen Index ermitteln, aus dem angereicherte Daten geholt werden sollen.

Elasticsearch unterstützt eine Vielzahl verschiedener Datentypen für die Felder in einem Dokument, und jeder dieser Datentypen hat wiederum mehrere Untertypen. Auf diese Weise können Sie Ihre Daten unabhängig von der Art der Daten möglichst effizient und effektiv speichern, analysieren und verwenden. Elasticsearch ist unter anderem für die folgenden Datentypen optimiert:

Elasticsearch nutzt eine Datenstruktur namens invertierter Index, die extrem schnelle Volltextsuchen ermöglicht. Ein invertierter Index enthält eine Liste aller einzigartiger Wörter in beliebigen Dokumenten und für jedes Wort eine Liste der Dokumente, in denen es vorkommt. Um einen invertierten Index zu erstellen, teilen wir zunächst das Inhaltsfeld der einzelnen Dokumente in separate Wörter (auch Begriffe oder Tokens genannt) auf, erstellen eine sortierte Liste mit allen einzigartigen Begriffen und listen anschließend auf, in welchen Dokumenten die einzelnen Begriffe vorkommen.

Daten müssen nicht strukturiert sein, um von Elasticsearch ingestiert oder analysiert zu werden (allerdings kann die Leistung mit Strukturen verbessert werden). Dieses Design erleichtert den Einstieg und optimiert Elasticsearch als effektiven Dokumentenspeicher. Elasticsearch ist zwar keine NoSQL-Datenbank, bietet jedoch ähnliche Funktionen.

Mit einem invertierten Index können Sie Suchbegriffe mit Abfragen schnell nachschlagen, aber für Sortier- und Aggregationsvorgänge brauchen wir ein anderes Datenzugriffsmuster. Anstatt den Begriff nachzuschlagen, um Dokumente zu finden, wollen wir Dokumente nachschlagen und die Begriffe in einem bestimmten Feld finden. Dokumentwerte sind die auf dem Laufwerk enthaltenen Datenstrukturen in Elasticsearch. Sie werden beim Indexieren des Dokuments erstellt und ermöglichen daher dieses Datenzugriffsmuster, bei dem die Suche nach Spalten erfolgt. Daher liefert Elasticsearch hervorragende Ergebnisse bei Zeitreihen- und Metrikanalysen.

Elasticsearch verwendet die BKD-Baumstruktur in Lucene, um Geodaten zu speichern. Auf diese Weise können sowohl Geopunkte (Höhen- und Breitengrad) als auch Geoformen (Rechtecke und Polygone) effizient analysiert werden.

Mit der Sicherheit auf Feldebene können Sie einschränken, auf welche Felder die Nutzer:innen Lesezugriff haben. Insbesondere können Sie einschränken, welche Felder für dokumentbasierte Lese-APIs verfügbar sind.

Der Elastic Stack implementiert zwar keine Verschlüsselung für ruhende Daten, aber wir empfehlen trotzdem, eine Verschlüsselung auf Laufwerksebene für alle Hostcomputer zu konfigurieren. In den Snapshot-Zielen muss ebenfalls sichergestellt werden, dass die ruhenden Daten verschlüsselt werden.

Ein Cluster ist eine Sammlung von einem oder mehreren Knoten (Servern), die zusammen Ihre Daten enthalten und föderierte Indexierungs- und Suchfunktionen über alle Knoten bereitstellen. Diese Architektur erleichtert die horizontale Skalierung. Elasticsearch stellt eine umfangreiche und leistungsstarke REST-API und Benutzeroberflächen bereit, die Sie für die Verwaltung Ihrer Cluster verwenden können.

Ein Snapshot ist eine Sicherung aus einem aktiven Elasticsearch-Cluster. Snapshots können entweder für einzelne Indizes oder für ein gesamtes Cluster erstellt und in einem Repository in einem freigegebenen Dateisystem gespeichert werden. Außerdem sind Plugins verfügbar, mit denen Sie Remote-Repositorys unterstützen können.

Verlaufsdaten sind oft extrem hilfreich für die Analyse, werden allerdings oft nicht aufbewahrt, weil es kostspielig ist, riesige Datenmengen zu archivieren. Die Aufbewahrungsfristen werden daher eher aus finanziellen Gründen begrenzt als durch die Nützlichkeit umfassender Verlaufsdaten. Mit der Rollup-Funktion können Sie Verlaufsdaten zusammenfassen und speichern, um sie weiterhin für Analysen zu können, jedoch zu einem Bruchteil der Speicherungskosten für Rohdaten.

Elasticsearch nutzt eine Datenstruktur namens invertierter Index, die extrem schnelle Volltextsuchen ermöglicht. Ein invertierter Index enthält eine Liste aller einzigartiger Wörter in beliebigen Dokumenten und für jedes Wort eine Liste der Dokumente, in denen es vorkommt. Um einen invertierten Index zu erstellen, teilen wir zunächst das Inhaltsfeld der einzelnen Dokumente in separate Wörter (auch Begriffe oder Tokens genannt) auf, erstellen eine sortierte Liste mit allen einzigartigen Begriffen und listen anschließend auf, in welchen Dokumenten die einzelnen Begriffe vorkommen.

Ein Laufzeitfeld ist ein Feld, das zum Zeitpunkt der Abfrageausführung ausgewertet wird („Schema-on-read“). Laufzeitfelder können jederzeit eingeführt oder geändert werden, auch nachdem die Dokumente indexiert wurden, und sie können als Teil einer Abfrage definiert werden. Abfragen sehen diese Felder über dieselbe Schnittstelle wie sie indexierte Felder sehen. Das heißt, dass ein und dasselbe Feld in einigen Indizes eines Datenstreams ein Laufzeitfeld sein kann, während es in anderen Indizes desselben Datenstreams als indexiertes Feld auftritt. Es ist wichtig, dass Abfragen diesen Unterschied erkennen. Während indexierte Felder eine optimale Abfrage-Performance bieten, stellen Laufzeitfelder eine gute Ergänzung dar, weil sie eine Änderung der Datenstruktur ermöglichen, nachdem das Dokument indexiert wurde.

Mit Lookup-Laufzeitfeldern können Sie Ergebnissen aus einem Primärindex Informationen aus einem Lookup-Index hinzufügen, indem Sie für beide Indizes einen Primärschlüssel definieren, der die Dokumente miteinander verknüpft. Diese Funktion, die wie Laufzeitfelder bei der Abfrageverarbeitung verwendet wird, ermöglicht eine flexible Datenanreicherung.

Mit der Cluster-übergreifenden Suche (Cross-Cluster Search, CCS) kann jeder beliebige Knoten als föderierter Client über mehrere Cluster hinweg eingesetzt werden. Die Cluster-übergreifenden Knoten treten dem Remote-Cluster nicht bei, sondern stellen eine ressourcenschonende Verbindung her, um föderierte Suchanfragen auszuführen.

Eine Ähnlichkeit (Relevanz-Scoring/Ranking-Modell) definiert, wie übereinstimmende Dokumente bewertet werden. Elasticsearch verwendet standardmäßig die BM25-Ähnlichkeit, eine komplexe, TF/IDF-basierte Ähnlichkeit mit integrierter tf-Normalisierung, die sich optimal für kurze Felder wie etwa Namen eignet, bietet jedoch auch viele weitere Ähnlichkeitsoptionen an.

Aufbauend auf der neuen Unterstützung für die approximative Nächster-Nachbar-Suche (ANN-Suche) in Lucene 9 auf der Basis des HNSW-Algorithmus ermöglicht der neue „_knn_search API“-Endpoint eine skalierbarere und leistungsfähigere Suche anhand der Vektorähnlichkeit. Zu diesem Zweck wird nach einem Kompromiss zwischen Trefferquote („Recall“) und Performance gesucht, was – im Vergleich mit der herkömmlichen kompromisslosen Vektorähnlichkeitsmethode – zu einer deutlich besseren Performance bei sehr großen Datenbeständen führt und die Trefferquote nur geringfügig reduziert.

Für eine Volltextsuche benötigen Sie eine robuste Abfragesprache. Elasticsearch stellt eine komplette Abfrage-DSL (domain-specific language, domänenspezifische Sprache) auf JSON-Basis bereit, mit der Sie Abfragen definieren können. Erstellen Sie einfache Abfragen nach Begriffen und Sätzen, oder entwickeln Sie zusammengesetzte Abfragen mit einer Kombination aus mehreren Abfragen. Außerdem können Sie zur Abfragezeit Filter anwenden, um Dokumente zu entfernen, bevor diese eine Relevanzbewertung erhalten haben.

Mit der API für die asynchrone Suche können Nutzer:innen Abfragen, deren Verarbeitung potenziell lange dauert, im Hintergrund ausführen lassen, den Fortschritt der Abfragenverarbeitung verfolgen und Teilergebnisse abrufen, sobald diese zur Verfügung stehen.

Mit Highlightern können Sie hervorgehobene Snippets aus einem oder mehreren Feldern in Ihren Suchergebnissen abrufen, um den Nutzer:innen die Übereinstimmungen mit der Abfrage zu zeigen. Wenn Sie Hervorhebungen anfordern, enthält die Antwort ein zusätzliches Highlight-Element für jeden Suchtreffer, der die hervorgehobenen Felder und Fragmente enthält.

Der Vervollständigungs-Suggester stellt Autovervollständigungs- und Sucheingabefunktionen bereit. Diese Navigationsfunktion führt Nutzer:innen noch während der Suche zu relevanten Ergebnissen und verbessert die Suchgenauigkeit.

Mit den Satz-Suggestern fügen Sie Ihrer Suche eine „meinten-Sie“-Funktion hinzu, indem Sie die Begriffs-Suggester um zusätzliche Logik erweitern, um auf Basis von ngram-Sprachmodellen ganze korrigierte Sätze anstelle einzelner gewichteter Tokens auszuwählen. In der Praxis trifft dieser Suggester bessere Entscheidungen für die auszuwählenden Token auf Basis von Kookkurrenz und Häufigkeiten.

Die Rechtschreibkorrektur basiert auf dem Begriffs-Suggester, der Begriffe anhand der Änderungsdistanz vorschlägt. Der empfohlene Text wird analysiert, bevor die Begriffe vorgeschlagen werden. Die vorgeschlagenen Begriffe werden pro analysiertem Vorschlags-Text-Token geliefert.

Percolators stellen das herkömmliche Suchmodell, bei dem Dokumente in einem Index mit einer Abfrage gesucht werden, auf den Kopf, und gleichen stattdessen Dokumente mit Abfragen aus einem Index ab. Die eigentliche percolate-Abfrage enthält das Dokument, das als Suche verwendet und mit den gespeicherten Abfragen abgeglichen werden soll.

Die Profile API liefert ausführliche Timinginformationen zur Ausführung einzelner Komponenten in einer Suchabfrage. Sie erhalten Einblicke in die Ausführung von Suchabfragen auf einer niedrigen Ebene, können Gründe für langsame Abfragen ermitteln und Schritte zu deren Verbesserung ergreifen.

Mit der Sicherheit auf Feldebene und auf Dokumentebene können Sie die Suchergebnisse an den Lesezugriff der Nutzer:innen anpassen. Insbesondere können Sie einschränken, welche Felder und Dokumente für dokumentbasierte Lese-APIs verfügbar sind.

Mithilfe der API zum erneuten Laden von Analyzern lässt sich angeben, dass die Synonymdefinition erneut geladen werden soll. Der Inhalt der konfigurierten Synonymdatei wird daraufhin neu geladen und die vom Filter verwendete Synonymdefinition wird aktualisiert. Die „_reload_search_analyzers“-API kann auf einen oder mehrere Indizes angewendet werden und löst das erneute Laden der Synonyme aus der konfigurierten Datei aus.

Mit Result Pinning können Sie festlegen, dass ausgewählte Dokumente in den Suchergebnissen besser positioniert werden als die, die von regulären Abfragen zurückgegeben werden. Dieses Feature kann zum Beispiel dazu eingesetzt werden, Suchende auf kuratierte Dokumente aufmerksam zu machen, die gegenüber „organischen“ Sucherergebnissen bevorzugt werden sollen. Welche Dokumente auf diese Weise „angepinnt“ werden sollen, richtet sich nach den Dokumentenkennungen im Feld „_id“.

Mit dem Aggregationen-Framework können Sie aggregierte Daten auf Basis einer Suchabfrage bereitstellen. Dieses Framework verwendet einfache Bausteine, die sogenannten Aggregationen, mit denen Sie komplexe Zusammenfassungen der Daten erstellen können. Eine Aggregation ist eine Arbeitseinheit, die Analysedaten über eine Reihe von Dokumenten generiert.

Mit der Graphexplorations-API können Sie Informationen über die Dokumente und Begriffe in Ihrem Elasticsearch-Index extrahieren und zusammenfassen. Machen Sie sich mit dieser API vertraut, indem Sie Graph in Kibana einsetzen, um Verbindungen zu erkunden.

Nachdem Elastic Machine Learning Baselines für das normale Verhalten Ihrer Daten erstellt hat, können Sie mit diesen Daten Prognosen für das zukünftige Verhalten generieren. Erstellen Sie anschließend eine Prognose für einen Zeitreihenwert zu einem bestimmten Zeitpunkt in der Zukunft oder schätzen Sie die Wahrscheinlichkeit für einen bestimmten Zeitreihenwert in der Zukunft ab.

Mit den Elastic Machine-Learning-Funktionen können Sie die Analyse von Zeitreihendaten automatisieren, indem Sie exakte Baselines für das normale Verhalten in den Daten generieren und anschließend abnormale Muster identifizieren. Anomalien werden mithilfe von proprietären Machine-Learning-Algorithmen erkannt, klassifiziert und mit statistisch signifikanten Einflüssen in den Daten verknüpft.

Für Veränderungen, die mit Regeln und Grenzwerten schwerer zu definieren sind, können Sie Benachrichtigungen mit unbeaufsichtigten Machine-Learning-Funktionen kombinieren, um ungewöhnliche Verhaltensweisen aufzudecken. Lassen Sie sich dann anhand der Anomaliebewertungen im Alerting-Framework benachrichtigen, wenn Probleme auftreten.

Mit Inferenz können Sie beaufsichtigte Machine-Learning-Prozesse, wie Regression oder Klassifizierung, nicht nur zur Analyse einzelner Batches, sondern kontinuierlich benutzen. Inferenz ermöglicht es, trainierte Machine-Learning-Modelle auf eingehende Daten anzuwenden.

Bei der Spracherkennung handelt es sich um ein trainiertes Modell, das zur Erkennung der in einem Text verwendeten Sprache dient. Sie können das Spracherkennungsmodell in einem Inferenz-Prozessor referenzieren.