Elastic Stack 5.0.0 veröffentlicht
Im Februar 2016 schrieb ich nach der Elastic{ON} 16 einen Post mit dem Titel Heya, Elastic Stack and X-Pack. Heute, nach fast einem Jahr intensiver Anstrengungen, die unter anderem fünf Alpha-Versionen, eine Beta-Version und einen Release-Kandidaten hervorgebracht haben, ist es uns nun eine Freude, die GA-Version des Elastic Stack vorzustellen.
Und ganz wichtig: Die Version ist bereits heute auf Elastic Cloud erhältlich. Wenn du die gehostete Version von Elasticsearch und Kibana verwenden willst, findest du die neueste Programmversion ausschließlich hier. Wir haben uns fest vorgenommen, Elastic Cloud zum besten Ort für die gehostete Version von Elasticsearch zu machen. In diesem Sinn haben wir zu Testzwecken sogar die Release-Kandidat-Version in der Cloud zur Verfügung gestellt.
Unser Team feiert heute. Gesell dich doch zu uns.
Zwar wird die GA-Version heute veröffentlicht, doch hosten wir am 3. November ein virtuelles Event, bei dem das Elastic-Team näher auf die neue Version eingeht und deine Fragen beantwortet (im Stil eines AMA). Jetzt registrieren!
Ehe wir uns die Version näher ansehen, will ich bei dieser Gelegenheit darauf eingehen, wie wir an diesen Punkt gelangt sind.
Unsere Community
Während der aktuellen Elastic{ON} Tour habe ich jedes Event mit einem kurzen Rückblick auf die zurückliegenden Jahre begonnen. Diese Veröffentlichung gipfelt in der Bekanntgabe, dass wir insgesamt 75 Millionen Downloads erreicht haben. Schon als ich mit diesem Projekt begann, hoffte ich, dass es große Verbreitung finden würde. Dennoch freut und verblüfft mich die Leidenschaft und Begeisterung unserer Community bis heute.
Pioneer Program
Vor diesem Hintergrund möchte ich die Ergebnisse des Pioneer Program mit euch teilen. Das Programm begann mit einer simplen Prämisse: Eure Erfahrungen aus der Verwendung des Elastic Stack sind die beste Informationsquelle für unsere Entwicklungsarbeit und Garant dafür, dass wir das Produkt mit den höchstmöglichen Qualitätsstandards herausbringen. Ich freue mich, mitteilen zu können, dass die Community seit der ersten Alpha-Version im April 146 Probleme gemeldet hat.
Unsere Community ist eines der wertvollsten Elemente von Elastic. Und so war denn auch der Name „Elastic Stack“ eine der meistdiskutierten Änderungen dieser Version.
Der Elastic Stack
Vergangenes Jahr holten wir das Packetbeat-Team an Bord und Beats wurde geboren. Diese Open-Source-Plattform für das Erstellen leichtgewichtiger Data-Shipper unter anderem für Logdateien, Infrastrukturmetriken und Netzwerkpakete hat das Senden von Daten an Elasticsearch und Logstash leichter denn je gemacht. Obwohl wir es toll finden, wie viele von euch die Abkürzung ELK für unseren Stack übernommen haben, konnten wir uns mit Blick auf Beats nicht vorstellen, wie das „B“ in die Kombination E-L-K passen soll.
Doch Elastic Stack ist mehr als nur ein Name. Als wir die Arbeit an dieser Version begannen, war unser Vorsatz, den Stack als Ganzes zu entwickeln, zu erstellen, zu testen und zu veröffentlichen. Das ist intern wichtig, um die Kompatibilität zu gewährleisten. Und für euch ist es wichtig, weil es die Entwicklungsarbeit beschleunigt, Verwirrung hinsichtlich verschiedener Versionen vermeidet und es Entwicklern erleichtert, Fähigkeiten über den ganzen Elastic Stack hinweg hinzuzufügen.
Die Funktionen im Überblick
Als ich mit diesem Post begann, hatte ich vor, einen Überblick über die Hauptfunktionen jedes einzelnen Produkts zu geben. Doch es ist schwer zu entscheiden, wo man beginnen und wo aufhören soll. Jeder aus unserem Team und unsere technischen Leiter gehen mit Posts auf die spezifischen Funktionen ihrer Produkte ein. Und niemand kann diese Informationen besser aufbereiten, als sie. Ich finde eine Reihe von Elementen ganz besonders aufregend, doch statt sie einzeln aufzuzählen, gebe ich lieber einen Überblick und ermuntere euch dazu, die detaillierten Posts zu jedem Produkt zu lesen.
- Ingest Node – Ingest Node ist ein Knotentyp von Elasticsearch, der eine Reihe von Daten-Anreicherungsfunktionen wie Grok, GeoIP, Date und weitere grundlegende Operationen im Bereich der Event-Manipulation beim Indizieren (oder Reindizieren) ermöglicht. Mit Prozessoren werden Pipelines erstellt, auf die über die REST-API zugegriffen wird, indem ihnen ein Anfrageparameter “?pipeline=x” angefügt wird. Die Fähigkeit des Hinzufügens einer Vorverarbeitungsfunktion zu Dokumenten vor dem Indizieren, was nativ in Elasticsearch erfolgt, ermöglicht eine Vielzahl kreativer Ingest-Anwendungen. Logstash wird dadurch jedoch nicht ersetzt. Beats bleiben weiterhin notwendig. Ingest Node ermöglicht lediglich ein höheres Maß an Flexibilität beim Entwurf der Datenverarbeitung.
- Elasticsearch Performance – Benchmarks haben in der Regel ein bestimmtes Ziel, besonders wettbewerbsrelevante Benchmarks. Diesen Umstand hatten wir vor Augen, als wir unter erheblichem Aufwand 5.0.0 mit den Vorgängerversionen verglichen. Diese Daten stehen dir zur Verfügung. Und darauf beziehen wir uns, wenn wir sicherstellen wollen, dass wir hinsichtlich der Leistung das Richtige tun. Wir tun dies öffentlich, da wir von Heimlichkeit nichts halten, um Zweifel an den Benchmark-Zahlen auszuräumen. Und tatsächlich stehen nicht nur die Ergebnisse zur Verfügung, wir dokumentieren obendrein unsere Hardwarekonfiguration und wir haben außerdem den Code unseres Werkzeugs ( Rally genannt) und die Benchmarks selbst (Rally-Tracks) veröffentlicht.
- Metricbeat – Metricbeat ersetzt Topbeat als primäres Werkzeug für das Sammeln von Metriken im Elastic Stack. Wie Topbeat, so sammelt auch Metricbeat die „top“-ähnlichen Statistiken zu Hosts und für Prozessressourcen (CPU, Speicher, Festplatte, Netzwerk). Im Unterschied zu Topbeat sammelt Metricbeat auch Metriken von Systemen wie Apache, HAProxy, MongoDB, MySQL, Nginx, PostgreSQL, Redis oder Zookeeper. Schon bald werden weitere hinzukommen.
- Logstash Monitoring-APIs – Die neue Monitoring-Funktion gibt Einblick ins Laufzeitverhalten der Logstash-Pipeline und seiner Plugins. Die Komponente sammelt verschiedene Arten von Betriebsmetriken, während Logstash deine Daten verarbeitet, und all diese Informationen können mit simplen APIs abgerufen werden.
- Timelion – Als re{Search}-Projekt eingeführt, ist Timelion jetzt als Teil der Standardausstattung von Kibana erhältlich. Timelion stellt eine Anfrage-DSL und Visualisierungen zur Verfügung, mit denen du deine Daten über bestimmte Zeiträume hinweg untersuchen kannst.
Das waren nur ein paar Beispiele. Ich bin genau so wenig auf die BKD-Bäume, scaled_float und half_float eingegangen, wie auf die enormen Anstrengungen, die wir in Elasticsearch Resiliency gesteckt haben. Oder das wunderschöne Neudesign von Kibana (uns wurde erst bewusst, wie sehr wir Ränder hassen, als wir sie entfernt hatten), die Kafka-Ausgabe in Beats, und noch vieles mehr bleibt hier unerwähnt.
Es ist eben eine umfangreicher Release. Wer mehr Details zum Ausmaß der Verbesserungen erfahren will, muss die einzelnen Posts lesen.
X-Pack
Wir bei Elastic lieben Erweiterungen. So sehr, dass wir sie entwickelt und ihnen interessante Namen gegeben haben. Shield, Marvel und Watcher standen für einzelne Closed-Source-Funktionen, die nicht ins quelloffene Umfeld integriert waren und von unseren Kunden zusätzlich installiert wurden. Leider wurde der Installationsprozess mit der steigenden Anzahl an Produkten wie Graph und Reporting immer schwieriger und war mitunter verwirrend.
Sag Hallo zu X-Pack!
Das Paket erweitert den Elastic Stack um Ressourcen wie Security, Alerting, Monitoring & Management, Reporting und Graph. Unser Entwicklungsprozess für 5.0 beschränkte sich nicht auf den Elastic Stack, auch X-Pack wurde erweitert, und zwar um folgende Funktionen:
- Management- & Monitoring-Benutzeroberflächen in Kibana
- Neue Oberflächen zur Verwaltung von Benutzern und Rollen
- Hochgradige Vereinfachung des Installationsprozesses
Für X-Pack gibt es eine Testlizenz es eine Testlizenz und es stehen eine gewerbliche und eine kostenlose Lizenz (Basic) zur Auswahl. Wir freuen und ganz besonders, einige X-Pack-Funktionen kostenlos zur Verfügung zu stellen. Näheres dazu findest du auf unserer Subscription-Seite.
Zum Abschluss
Ich kann nur über die Mühe staunen, die in dieser Version steckt, sowie über das Engagement seitens unserer Community und Kunden, das eine hervorragende Grundlage für künftige Versionen geschaffen hat. Und wie immer gilt: Eine neue Version versteht man erst dann wirklich, wenn man sie benutzt.