Checkmk in Grafana integrieren

Diese Installationsart setzt die Verwendung von Checkmk Cloud Edition voraus. Bei Betrieb von Grafana auf einem eigenen Server ist dort die Installation aus der Grafana Plugin-Sammlung via Kommandozeile möglich:

Starten Sie den Grafana-Serverdienst neu:

Anschließend ist das Plugin in der Oberfläche von Grafana verfügbar und kann aktiviert und eingerichtet werden.

Loggen Sie sich zuerst in der Grafana-Instanz ein, in der Sie die Checkmk-Datenquelle installieren wollen. Rufen Sie dann die Seite der Datenquelle in der Grafana Plugin-Sammlung auf. Im Reiter Installation setzen Sie ein Häkchen bei der Grafana-Instanz, die das Plugin erhalten soll und klicken anschließend auf den Knopf Install. Bis das Plugin im Web-Interface der Grafana-Installation verfügbar ist, können wenige Minuten vergehen.

Auf der Releases-Seite des GitHub-Repositories finden Sie zwei Varianten des Plugins als Zip-Archiv:

Laden Sie einfach die aktuellste Version als Zip-Datei herunter und kopieren Sie sie, zum Beispiel mit scp, auf den Grafana-Server.

Statt über den Browser können Sie die Datei natürlich auch direkt über die Kommandozeile laden. Beachten Sie, dass Sie dafür die aktuelle Version wissen müssen – im folgenden Beispiel schreiben wir die Version in die Variable $plugvers.

Entpacken Sie jetzt das Zip-Archiv:

Erstellen Sie ein Plugin-Verzeichnis, falls dieses noch nicht existiert, und machen Sie den Linux-Benutzer, unter dessen Kennung die Grafana-Prozesse ausgeführt werden (meist grafana) zu dessen Eigentümer:

Verschieben Sie den entstandenen Ordner in das Plugin-Verzeichnis von Grafana. Üblicherweise ist das der Pfad /var/lib/grafana/plugins/:

Ändern Sie den Eigentümer auf den Grafana-Benutzer:

Eine Installation über das Klonen des Git-Archivs (wie es früher in diesem Artikel beschrieben wurde) ist nicht mehr möglich. Falls Sie am Plugin mitentwickeln wollen, lesen Sie die Hinweise für Entwickler.

Unter Home > Dashboards finden Sie ein Drop-down-Menü, welches mit dem Pluszeichen gekennzeichnet ist. Klicken Sie dort auf New dashboard, um ein neues Dashboard zu erstellen:

Das einfachste Dashboard zeigt einen einzigen Graphen eines Services eines Hosts. Dies kann auch die Metrik eines lokalen Checks sein, für den keine vorgefertigten Graphen existieren. In einem bestehenden oder dem eben erzeugten Dashboard erstellen Sie eine neue Visualisierung. Wählen Sie hier zuerst Add visualization aus:

Mit Erstellung der Visualisierung gelangen Sie zur Auswahl der Datenquelle. Nach der Auswahl von Checkmk befinden Sie sich direkt im Editiermodus der Abfrage (Query) für das neu erstellte Panel. Ein Panel ist ein Container für eine Visualisierung.

Der Zugriff auf zu visualisierende Daten unterscheidet sich etwas zwischen der Checkmk Raw Edition und den kommerziellen Editionen: In der Raw Edition arbeiten Sie mit vordefinierten Menüs für Instanz, Host-Name, Service und so weiter. In den kommerziellen Editionen haben Sie die Möglichkeit, Kaskaden von Filtern zu bestimmen. Dies erlaubt eine sehr detaillierte Auswahl auch unter Verwendung regulärer Ausdrücke. Das folgende einfache Beispiel ist so gewählt, dass Sie es mit allen Editionen durchspielen können.

Wählen Sie zunächst die Site, danach filtern Sie nach einem Hostname im Monitoring. Nutzen Sie für den ersten Test einen beliebigen Host, der den Windows- oder Linux-Agenten nutzt. Als Service wählen Sie Check_MK. Setzen Sie den Typ der Aggregation auf Maximum. Als Graph type stehen Single metric oder Predefined graph (vordefinierte Graphen) zur Auswahl: Predefined graphs übernehmen Metriken aus Checkmk, welche auch kombinierte Graphen enthalten können. Unsere Screenshots zeigen hier die Single metric, welche die Gesamtausführungszeit des Agenten (Time spent waiting for Checkmk agent) enthält.

Grafana zeigt das Ergebnis direkt an. Mit dem Knopf Apply können Sie den Graphen anwenden ohne das Dashboard zu sichern. Mit Save werden Sie aufgefordert, einen Titel für das neue Dashboard anzugeben und speichern schließlich das neu erstellte Dashboard.

Die Entwickler von Checkmk haben bereits viele korrespondierende Metriken in gemeinsamen Graphen zusammengefasst, damit Benutzer leichter einen Überblick über verschiedene Aspekte einer einzigen Ressource erhalten. Sie können die Metriken aus einem solchen vorgefertigten Graphen direkt in Grafana anzeigen lassen.

Die Vorgehensweise entspricht zunächst der im vorherigen Abschnitt erläuterten. Allerdings wählen Sie zum Abschluss als Graph type den Eintrag Predefined graph und den zu verwendenden Predefined graph des Services.

Sollten Sie eine Fehlermeldung erhalten, dass die Auswahl kombinierter Metriken mit mehr als 200 Elementen unzulässig ist, schränken Sie mit weiteren Filtern ein. Stellen Sie im Zweifel die Filter nach vorne, die eine deutliche Einschränkung der Ergebnismenge versprechen.

Sind Sie mit der getroffenen Auswahl zufrieden, klicken Sie den Knopf Apply. Der Graph ist nun im gewählten Dashboard verfügbar.

Gerade in einem dynamischen Cluster möchte man oft den gesamten Verlauf einer Metrik über alle beteiligten Hosts verfolgen können, ohne einen Graphen jedes Mal anpassen zu müssen, wenn ein neuer Knoten hinzukommt oder wegfällt. Um dies zu erreichen, haben Sie verschiedene Möglichkeiten, Graphen dynamisch anzupassen.

Die erste Möglichkeit besteht in der Filterung nach Host Labels oder Host Tags statt der Auswahl einzelner Hosts. Eine weitere Möglichkeit ist die Verwendung regulärer Ausdrücke. Sie können reguläre Ausdrücke auf Hosts oder Services anwenden. Im folgenden Beispiel matcht filesystem alle Services, die filesystem enthalten – egal, wie viele Dateisysteme ein Host eingebunden hat.

Mit filesystem.*nvme würden Sie die Auswahl auf alle Dateisysteme auf NVMe-Laufwerken einschränken, ganz gleichen welchen Dateisystemtyp diese nutzen, da der Teil des Strings zwischen filesystem und nvme beliebig sein kann.

Zusätzlich zu den erweiterten Filtermöglichkeiten bestimmen Sie mit Aggregation die Darstellung der Metriken im Graphen und mit Graph, welcher Graph als Referenz herangezogen werden soll. Beachten Sie, dass nur dann Metriken zu einem Host/Service angezeigt werden, wenn dieser auch über den ausgewählten Graphen verfügt. Der Graph sieht dann zum Beispiel so aus:

Im Editiermodus jedes Panels finden Sie einen Reiter Transform. Mit dem hier vorhandenen Unterpunkt Rename by regex können Sie die Bezeichnung von Metriken umsortieren oder nicht benötigte Informationen unterdrücken. Unser folgendes Beispiel sucht zwei durch Komma und folgendes Leerzeichen getrennte Zeichengruppen, vertauscht diese und stellt explizit Service und Host vorne an:

Die Variablen $1 und $2 entsprechen hierbei den in der Zeile darüber „eingefangenen“ Zeichenketten (Match-Gruppen oder Capture Groups). Grafana erlaubt auch verschachtelte Match-Gruppen. Einen Überblick über deren Möglichkeiten zeigt der entsprechende Abschnitt im Artikel zu regulären Ausdrücken.

Jede Variable ist eine Eigenschaft eines Dashboards. Sie muss in den Einstellungen des Dashboards erstellt werden und kann dann nur innerhalb dieses Dashboards verwendet werden. Da Query die umfangreichste Konfiguration erfordert, zeigen wir dessen Verwendung in unserem Beispiel.

Die relevanten Eigenschaften einer Variablen sind ihr Typ und ihr Name, alle anderen Eigenschaften dienen nur der Übersichtlichkeit im Dashboard. Der Name sollte Unterscheidungen unterstützen. Wenn Sie also planen, mehrere Variablen zur Auswahl von Hosts aus verschiedenen Untermengen zu nutzen, verwenden Sie statt host wie im Beispiel einen Namen, der auf diese Menge referenziert, zum Beispiel host_from_linuxservers.

Achten Sie bei der Wahl der Datenquelle darauf, dass eine Checkmk-Verbindung ausgewählt ist. Den gewählten Objekttyp können sie weiter einschränken, zum Beispiel mit regulären Ausdrücken. Verwendete Filter werden auf dem Checkmk-Server ausgewertet. Dagegen werden die folgenden Felder Regex und Sort von Grafana ausgewertet.

Die beiden Checkboxen für Selection options ganz unten auf der Seite sind von der späteren Verwendung abhängig. Sie können diese bei Bedarf jederzeit anpassen, lassen Sie für den ersten Test beide auf der (leeren) Voreinstellung. Speichern Sie die Variablen mittels Save dashboard, wenn Sie alle Einstellungen vorgenommen haben.

Sie können die vergebenen Variablen nun in die dafür passenden Felder eintragen um einen flexiblen Graphen zu erstellen. Die Verwendung der Variablen ist zudem im Titel des Graphen möglich.

Im Dashboard wird für jede Variable eine Drop-down-Auswahl angezeigt, über die Sie einstellen, für welche Variablenwerte (Hosts, Services…​) Sie das Dashboard anzeigen lassen. Wenn Sie Mehrfachauswahl aktiviert haben, können Sie in den Einstellungen des Panels die Option Repeat by variable setzen, um das Panel für jeden ausgewählten Variablenwert anzuzeigen.