GPUs sind nicht nur für Gamer und Kryptoschürfer! Mit ihnen werden auch neurale Netze angelernt, Strömungsberechnungen durchgeführt und Rechenzentrenlasten verarbeitet. Lesen Sie, wie Sie mit Elastic die Metriken dieser Prozessoren überwachen können.

Grafikprozessoren (Graphical Processing Units, GPUs) sind nicht nur etwas fürs Gaming. Sie werden heute auch zum Anlernen neuraler Netzwerke, für <a href="https://news.developer.nvidia.com/tag/computational-fluid-dynamics/">numerische Strömungsberechnungen</a>, zum Schürfen von Bitcoins und zur Verarbeitung von Arbeitslasten in Rechenzentren genutzt. Außerdem stellen sie einen essenziellen Bestandteil der meisten <a href="https://www.olcf.ornl.gov/summit/">Hochleistungs-Computersysteme</a> dar, sodass die Überwachung der GPU-Performance in modernen Rechenzentren mittlerweile genauso wichtig ist wie die Überwachung der CPU-Performance.
Das alles ist Grund genug, einen Blick darauf zu werfen, wie die Kombination aus <a href="/de/observability">Elastic Observability</a> und den GPU-Monitoring-Tools von NVIDIA dazu genutzt werden kann, die GPU-Performance zu überwachen und zu optimieren.&nbsp;
<h2>Abhängigkeiten</h2>Um die NVIDIA-GPU-Metriken zum Laufen zu bringen, müssen wir auf Basis des Quellcodes NVIDIA-GPU-Monitoring-Tools erstellen (Go). Und natürlich brauchen wir auch eine NVIDIA-GPU. Da AMD- und andere GPU-Typen andere Linux-Treiber und Monitoring-Tools verwenden, widmen wir ihnen einen eigenen Blogpost.
NVIDIA-GPUs gehören zum Standardangebot von <a href="https://cloud.google.com/nvidia">Google Cloud</a>, <a href="https://aws.amazon.com/nvidia/">Amazon Web Services (AWS)</a> und anderen Cloud-Anbietern. Dieser Blogpost basiert auf einer auf <a href="https://www.genesiscloud.com/">Genesis Cloud</a> laufenden Instanz.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7d63774972e8ab13/60341d862e76da7e3b0238cb/blog-nvidia-gpu-o11y-1.png" data-sys-asset-uid="blt7d63774972e8ab13" alt="" style="display: block; margin: auto; width:500px;">
Der erste Schritt besteht darin, den NVIDIA Datacenter Manager zu installieren. Dazu folgen wir der Installationsanleitung für Ubuntu 18.04 im Abschnitt „<a href="https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-user-guide/getting-started.html">Getting Started</a>“ des „Data Center GPU Manager User Guide“. Hinweis: Achten Sie darauf, den Parameter <code>&lt;architecture&gt;</code> durch einen eigenen Wert zu ersetzen. Welcher das ist, können Sie über den Befehl <code>uname</code> ermitteln:
<pre class="prettyprint">uname -a
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt80f53ff622bcc753/60341d9ab44dcf7721649d52/blog-nvidia-gpu-o11y-2.png" data-sys-asset-uid="blt80f53ff622bcc753" alt="" "="">
Der Befehlsausgabe können wir entnehmen, dass unsere Architektur als <code>X86_64</code> anzugeben ist. Schritt&nbsp;1 im Abschnitt „Getting Started“ sieht also wie folgt aus:
<pre class="prettyprint">echo "deb http://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64 /" | sudo tee /etc/apt/sources.list.d/cuda.list
</pre>In Schritt&nbsp;2 gibt es einen Schreibfehler. Das <code>&gt;</code> nach <code>$distribution</code> ist falsch und darf nicht mit geschrieben werden.
<pre class="prettyprint">sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/$distribution/x86_64/7fa2af80.pub
</pre>Nach der Installation können wir mit dem Befehl <code>nvidia-smi</code> unsere GPU-Details aufrufen.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt3e7a0d66edf77f3e/60341db0a8b314423f5eeccb/blog-nvidia-gpu-o11y-3.png" data-sys-asset-uid="blt3e7a0d66edf77f3e" alt="" style="width: 500px;">
<h3>NVIDIA-GPU-Monitoring-Tools</h3>Zum Erstellen der NVIDIA-GPU-Monitoring-Tools müssen wir Golang installieren. Das geht so:
<pre class="prettyprint">cd /tmp 
wget https://golang.org/dl/go1.15.7.linux-amd64.tar.gz
sudo mv go1.15.7.linux-amd64.tar.gz /usr/local/ 
cd /usr/local/ 
sudo tar -zxf go1.15.7.linux-amd64.tar.gz 
sudo rm go1.15.7.linux-amd64.tar.gz
</pre>Zum Abschluss der NVIDIA-Einrichtung installieren wir die GPU-Monitoring-Tools von NVIDIA (<a href="https://github.com/NVIDIA/gpu-monitoring-tools">gpu-monitoring-tools</a>), die wir bei GitHub finden.
<pre class="prettyprint">cd /tmp 
git clone https://github.com/NVIDIA/gpu-monitoring-tools.git
cd gpu-monitoring-tools/ 
sudo env "PATH=$PATH:/usr/local/go/bin" make install
</pre><h3>Metricbeat</h3>Jetzt können wir uns an die Installation von Metricbeat machen. Schauen Sie kurz bei <a href="/de/downloads/beats/metricbeat">elastic.co</a> nach, wie die aktuelle Versionsnummer von Metricbeat lautet, und passen Sie in den Befehlen unten die Versionsnummer entsprechend an.&nbsp;
<pre class="prettyprint">cd /tmp 
wget https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.10.2-amd64.deb 
sudo dpkg -i metricbeat-7.10.2-amd64.deb # 7.10.2 ist die Versionsnummer
</pre><h2>Elastic Cloud</h2>Lassen Sie uns nun den Elastic Stack einrichten. Wir brauchen einen Ort für die Unterbringung unserer neuen GPU-Monitoring-Daten. Zu diesem Zweck erstellen wir ein neues Deployment auf Elastic Cloud. Wenn Sie noch kein Elastic Cloud-Konto haben, können Sie das Angebot <a href="https://cloud.elastic.co/registration">14&nbsp;Tage kostenlos ausprobieren</a>. Stattdessen können Sie auch lokal <a href="/de/start">ein eigenes Deployment einrichten</a>.
Als Nächstes <a href="/guide/en/cloud/current/ec-create-deployment.html">erstellen wir ein neues Elastic Observability-Deployment</a> auf Elastic Cloud.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf2d6dfe13810850b/60341dc719e43d7b181cd44e/blog-nvidia-gpu-o11y-4.png" data-sys-asset-uid="bltf2d6dfe13810850b" alt="" style="display: block; margin: auto;">
Wenn Sie Ihr Cloud-Deployment zum Laufen gebracht haben, notieren Sie sich die Cloud-ID und die Anmeldedaten für die Authentifizierung. Diese Angaben brauchen wir für die Metricbeat-Konfiguration.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltc52805217d28f2ce/60341de0a8b314423f5eeccf/blog-nvidia-gpu-o11y-5.png" data-sys-asset-uid="bltc52805217d28f2ce" alt="" style="display: block; margin: auto; width:400px;">
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltcfbe0272c86d9e9d/60341dff43b017423e0df465/blog-nvidia-gpu-o11y-6.png" data-sys-asset-uid="bltcfbe0272c86d9e9d" alt="" style="display: block; margin: auto;">
<h2>Konfiguration</h2>Die Metricbeat-Konfigurationsdatei finden Sie in /etc/metricbeat/metricbeat.yml. Öffnen Sie sie im Editor Ihrer Wahl und versehen Sie die Parameter <code>cloud.id</code> und <code>cloud.auth</code> mit den Werten für Ihr Deployment.
Beispiel für die Änderung der Metricbeat-Konfiguration anhand der Screenshots weiter oben:
<pre class="prettyprint">cloud.id: "staging:dXMtY2VudHJhbDEuZ2NwLmNsb3VkLmVzLmlvJDM4ODZkYmUwMWNjODQ2NDM4YjRlNzg5OWEyZDAwNGM5JDBiMTc0YzYyMTVlYTQwYWQ5M2NmMGY4MjVhNzJmOGRk" 
cloud.auth: "elastic:J7KYiDku2wP7DFr62zV4zL4y"
</pre>Die Input-Konfiguration von Metricbeat ist modular. Da die GPU-Monitoring-Tools von NVIDIA die GPU-Metriken über Prometheus veröffentlichen, besteht die nächste Aufgabe darin, das Prometheus-Modul von Metricbeat zu aktivieren.
<pre class="prettyprint">sudo metricbeat modules enable prometheus
</pre>Mithilfe der Metricbeat-Befehle „test“ und „modules“ können wir uns bestätigen lassen, dass unsere Metricbeat-Konfiguration erfolgreich war.
<pre class="prettyprint">sudo metricbeat test config
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt985061f113eae978/60341e2d3cdceb7720e5bc1b/blog-nvidia-gpu-o11y-7.png" data-sys-asset-uid="blt985061f113eae978" alt="" style="width: 500px;">
<pre class="prettyprint">sudo metricbeat test output
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt107ab54ba5b67113/60341e392d3c3774992c4c2b/blog-nvidia-gpu-o11y-8.png" data-sys-asset-uid="blt107ab54ba5b67113" alt="" style="width: 600px;">
<pre class="prettyprint">sudo metricbeat modules list
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf8c1a44d2324cc4e/60341e4c54bb3918e6be05da/blog-nvidia-gpu-o11y-9.png" data-sys-asset-uid="bltf8c1a44d2324cc4e" alt="" style="width: 500px;">
Wenn die Konfigurationstests bei Ihnen nicht so erfolgreich verlaufen sind wie in den Beispielen oben, sehen Sie sich unsere <a href="/guide/en/beats/metricbeat/current/troubleshooting.html">Hinweise für die Fehlersuche und ‑behebung in Metricbeat</a> an.&nbsp;
Zum Abschluss der Metricbeat-Konfiguration führen wir den zugehörigen Befehl „setup“ aus, mit dem wir ein paar Standard-Dashboards laden und Index-Mappings einrichten. Die Ausführung von „setup“ dauert in der Regel einige Minuten.
<pre class="prettyprint">sudo metricbeat setup
</pre><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1be1b4b77c62728a/60341e692d3c3774992c4c35/blog-nvidia-gpu-o11y-10.png" data-sys-asset-uid="blt1be1b4b77c62728a" alt="" style="width: 550px;">
<h2>Exportieren der Metriken</h2>Jetzt geht’s ans Exportieren der Metriken. Dazu starten wir den DCGM-Exporter von NVIDIA:
<pre class="prettyprint">dcgm-exporter --address localhost:9090 
# Ausgabe 
INFO[0000] Starting dcgm-exporter 
INFO[0000] DCGM successfully initialized! 
INFO[0000] Not collecting DCP metrics: Error getting supported metrics: This request is serviced by a module of DCGM that is not currently loaded 
INFO[0000] Pipeline starting 
INFO[0000] Starting webserver
</pre>Hinweis: Die DCP-Warnung kann ignoriert werden.
Die Konfiguration der DCGM-Exporter-Metriken ist in der Datei /etc/dcgm-exporter/default-counters.csv definiert, in der standardmäßig 38 verschiedene Metriken mit ihren Definitionen aufgeführt sind. Eine vollständige Liste der möglichen Werte finden Sie im <a href="https://docs.nvidia.com/datacenter/dcgm/dcgm-api/group__dcgmFieldIdentifiers.html">DCGM Library API Reference Guide</a>.&nbsp;
Wir starten jetzt in einer anderen Konsole Metricbeat.
<pre class="prettyprint">sudo metricbeat -e
</pre>Jetzt können Sie zur Kibana-Instanz wechseln und das Indexmuster „metricbeat-*“ aktualisieren. Dazu navigieren wir zu Stack Management&nbsp;&gt; Kibana&nbsp;&gt; Index Patterns und wählen aus der angezeigten Liste metricbeat-* aus. Dann klicken wir auf Refresh field list.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfb422ead7c63b383/60341e7f20cf3e18e0faebff/blog-nvidia-gpu-o11y-11.png" data-sys-asset-uid="bltfb422ead7c63b383" alt="" style="display: block; margin: auto; width:650px;">
Jetzt sind unsere neuen GPU-Metriken in Kibana verfügbar. Die neuen Feldnamen sind mit dem Präfix „prometheus.metrics.DCGM_“ versehen. Das folgende Snippet zeigt die neuen Felder aus Discover:&nbsp;
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5a26cecf9772f1a2/60341e8ed4c37c7b178603e9/blog-nvidia-gpu-o11y-12.png" data-sys-asset-uid="blt5a26cecf9772f1a2" alt="" style="display: block; margin: auto; width:500px;">
Voilà! Jetzt können wir unsere GPU-Metriken in Elastic Observability analysieren.
So können wir zum Beispiel in Metrics Explorer die GPU-Performance mit der CPU-Performance vergleichen:
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta164eda1ddce5c0c/60341ea1d4c37c7b178603ed/blog-nvidia-gpu-o11y-13.png" data-sys-asset-uid="blta164eda1ddce5c0c" alt="" style="display: block; margin: auto;">
Außerdem können Sie in der Inventaransicht auch Hotspots der GPU-Nutzung finden:
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt513da21d6f0068b0/60341eaed0e3f0162ee92659/blog-nvidia-gpu-o11y-14.png" data-sys-asset-uid="blt513da21d6f0068b0" alt="" style="display: block; margin: auto;">
<h2>Was muss beim GPU-Monitoring berücksichtigt werden?</h2>Wir hoffen, dass Ihnen dieser Blogpost ein wenig weitergeholfen hat. Die beschriebenen Optionen sind nur einige von vielen Monitoring-Optionen von Elastic Observability, mit denen Sie Ihre Ziele erreichen können. <a href="https://on-demand.gputechconf.com/gtc/2014/presentations/S4253-tools-tips-for-managing-a-gpu-cluster.pdf">Mit NVIDIA</a> lassen sich unter anderem auch noch die folgenden GPU-Aspekte überwachen:
<ul>
	<li>GPU-Temperatur: Prüfung auf Hotspots</li>
	<li>Nutzung der GPU-Leistung: Unerwartet hohe Leistungsnutzung =&gt; mögliche HW-Probleme</li>
	<li>Aktuelle Taktrate: Unerwartet geringe Taktrate =&gt; Leistung gedrosselt oder HW-Probleme</li>
</ul>Und wenn Sie einmal die GPU-Last simulieren müssen, können Sie den Befehl <a href="https://docs.nvidia.com/datacenter/dcgm/latest/dcgm-user-guide/feature-overview.html#profiling-dcgmproftester">dcgmproftester10</a> verwenden.
<pre class="prettyprint">dcgmproftester10 --no-dcgm-validation -t 1004 -d 30
</pre>Zur weiteren Verfeinerung des Monitorings lassen sich die Empfehlungen von NVIDIA mittels <a href="/guide/en/observability/current/metrics-threshold-alert.html">Elastic-Alerting</a> automatisieren. Und wenn Sie es noch weiter treiben möchten, haben Sie die Möglichkeit, mithilfe von <a href="/de/videos/automated-anomaly-detection-with-elasticsearch-using-machine-learning">Machine Learning</a> Anomalien in Ihrer GPU-Infrastruktur ausfindig zu machen. Wenn Sie noch kein Elastic Cloud-Konto haben und die in diesem Blogpost beschriebenen Schritte selbst nachvollziehen möchten, können Sie Elastic Cloud <a href="https://cloud.elastic.co/registration">14&nbsp;Tage kostenlos ausprobieren</a>.

blog-banner-charts-monitor.png

blog-thumb-charts-monitor.png

How to monitor NVIDIA GPU metrics with Elastic Observability

Überwachen von NVIDIA-GPU-Metriken mit Elastic Observability

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Solutions Architect

Kent Brake

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/elastic-cloud-account-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">ausgewählte Nachrichten und Informationen</a> an die oben von Ihnen bereitgestellten Kontaktangaben zu senden. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/serverless-preview-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

Beim Absenden akzeptieren Sie die <a href="/de/agreements/global/cloud-services-monthly" rel="nofollow">Nutzungsbedingungen von Elastic Cloud</a>. Die Verarbeitung Ihrer personenbezogenen Daten unterliegt der <a href="/de/legal/privacy-statement">Datenschutzerklärung von Elastic</a>.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/terms-of-use" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Der Inhalt dieser Seite ist in der ausgewählten Sprache nicht verfügbar. Wir bei Elastic arbeiten daran, die bereitgestellten Inhalte in verschiedenen Sprachen anzubieten. Bis dahin bitten wir Sie um etwas Geduld und hoffen auf Ihr Verständnis!

Author

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Articles by

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Sie können nicht dabei sein? Registrieren Sie sich, damit wir Ihnen die Aufzeichnung zukommen lassen können. Außerdem erhalten Sie eine E‑Mail mit Begleitmaterial.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Learn More

Read less

You'll also receive an email with related content

Wir schicken Ihnen zudem relevante Informationen, die von Interesse sein könnten.

Thank you for registering. We will send you a confirmation email soon.

Vielen Dank für Ihre Registrierung. Sie erhalten in Kürze eine Bestätigungs-E‑Mail von uns.

Author

Articles by Kent Brake

Solutions Architect, Elastic

Überwachen von NVIDIA-GPU-Metriken mit Elastic Observability