Linux überwachen

Sie installieren den Linux-Agenten durch Installation des RPM- oder des DEB-Pakets. Ob Sie RPM oder DEB benötigen, hängt von der Linux-Distribution ab, auf der Sie das Paket installieren möchten:

Vor der Installation müssen Sie das Paket holen und auf den Host bringen (zum Beispiel mit scp oder WinSCP), auf dem der Agent laufen soll.

Nachdem Sie das RPM- oder das DEB-Paket geholt und — falls nötig — mit scp, WinSCP oder anderen Mitteln auf den zu überwachenden Host kopiert haben, ist die Installation mit einem Kommando erledigt.

Die Installation des RPM-Pakets erfolgt unter root mit dem Befehl rpm -U:

Die Option -U steht übrigens für „Update“, kann aber auch eine Erstinstallation korrekt durchführen. Das bedeutet auch, dass Sie mit diesem Befehl einen bereits installierten Agenten auf die aktuelle Version updaten können — und ihn auch zukünftig für Updates des Agentenpakets nutzen können.

Die Installation des DEB-Pakets — und ein Update — erfolgt unter root mit dem Befehl dpkg -i:

Hier wurde das Paket auf einem zuvor agentenlosen Host erstmalig installiert. Der Benutzer cmk-agent wurde erstellt und systemd konfiguriert. Auf die dazwischen angezeigte Warnung zum insecure mode, also dem Legacy-Pull-Modus, gehen wir gleich ein.

Die kommerziellen Editionen verfügen mit der Agentenbäckerei über ein Software-Modul zum automatischen Paketieren von individuell angepassten Agenten. Eine ausführliche Beschreibung dazu finden Sie im allgemeinen Artikel über die Agenten. Die Installation der gebackenen Pakete geschieht genauso wie es für die mitgelieferten Pakete oben beschrieben ist.

Ab Checkmk Cloud können Sie die Agentenbäckerei zusätzlich nutzen, um Agentenpakete mit einer Konfiguration für die Autoregistrierung zu versehen, was die automatische Erstellung von Hosts ermöglicht. In diesem Fall erfolgt die Registrierung des Agenten automatisch nach der Installation des Agentenpakets und eine manuelle Registrierung, wie im folgenden Kapitel beschrieben, ist nicht mehr notwendig.

Wenn Sie die Agentenbäckerei verwenden, können Sie automatische Updates des Agenten einrichten. Diese werden in einem eigenen Artikel beschrieben.

Falls der Agent Controller bei der Installation mit systemd konfiguriert werden konnte, ist der nächste Schritt die Registrierung, mit der die TLS-Verschlüsselung eingerichtet wird, so dass die verschlüsselte Agentenausgabe vom Checkmk-Server entschlüsselt und im Monitoring angezeigt werden kann.

Eine Besonderheit gibt es, falls der Agent mit Agent Controller erstmalig installiert wurde. Dann schaltet der Agent in den unverschlüsselten Legacy-Pull-Modus, damit der Checkmk-Server nicht von den Monitoring-Daten abgeschnitten wird und diese weiterhin anzeigen kann. Das betrifft sowohl eine Neuinstallation als auch das Update eines Agenten der Version 2.0.0 und älter.

Einen Hinweis auf den aktivierten Legacy-Pull-Modus erhalten Sie bereits in der Kommandoausgabe bei der Installation des Agenten. Im Monitoring sieht das dann etwa so aus:

Die Checkmk-Instanz erkennt an der Agentenausgabe, dass der Agent Controller vorhanden und damit die TLS-Verschlüsselung möglich ist — aber noch nicht eingeschaltet ist. Der Service Check_MK Agent wechselt in den Zustand WARN und bleibt es solange, bis Sie die Registrierung durchgeführt haben. Nach der Registrierung wird nur noch im verschlüsselten Pull-Modus kommuniziert. Der Legacy-Pull-Modus wird abgeschaltet und bleibt es auch. Allerdings kann er im Bedarfsfall per Kommando wieder eingeschaltet werden.

Anders liegt der Fall, wenn der Agent Controller sich während der Installation nicht als Daemon bei systemd registrieren konnte. Ohne Agent Controller ist die Registrierung des Hosts nicht möglich und der einzige Kommunikationsweg verbleibt der Legacy-Modus.

Im nächsten Kapitel können Sie durch Test von Agent Controller und Systemumgebung feststellen, ob Sie mit der Registrierung fortsetzen können.

Hinweis: Im Regelsatz Checkmk Agent installation auditing finden Sie verschiedene Einstellungen, um den Zustand des Agenten zu prüfen und im Monitoring sichtbar zu machen. Unter anderem können Sie hier festlegen, welchen Zustand der Service Check_MK Agent bei einer noch nicht durchgeführten TLS-Konfiguration haben soll.

Unmittelbar nach der Installation des Agenten (auch als Update eines Agenten der Version 2.0.0 und älter) ist nur unverschlüsselte Kommunikation im Legacy-Pull-Modus möglich. Eine ausschließlich verschlüsselte Datenübertragung ist erst nach Aufbau eines Vertrauensverhältnisses aktiv.

Eine Ausnahme hiervon sind die für die Autoregistrierung vorkonfigurierten und via Agentenbäckerei heruntergeladene Pakete. Diese Pakete führen die Registrierung automatisch nach der Installation durch.

In allen anderen Fällen führen Sie die manuelle Registrierung zeitnah nach der Installation des Agenten durch. Wie Sie dies bewerkstelligen, zeigt dieses Kapitel.

Die Registrierung und damit die Herstellung des gegenseitigen Vertrauensverhältnisses erfolgt unter einem Checkmk-Benutzer mit Zugriff auf die REST-API. Dafür bietet sich der Automationsbenutzer agent_registration an, der nur die Berechtigung zur Registrierung von Agenten besitzt und bei jeder Checkmk-Installation automatisch angelegt wird. Das zugehörige Automationspasswort (automation secret) können Sie mit auswürfeln.

Erstellen Sie zunächst den neuen Host über Setup > Hosts > Add host. Ein Host muss in der Konfigurationsumgebung existieren, bevor er registriert werden kann.

Ab Checkmk Cloud finden Sie in den Eigenschaften des Hosts im Abschnitt zu den Monitoring-Agenten die Option Checkmk agent connection mode. Hier können Sie alternativ zum Pull-Modus, der in allen Editionen verfügbar ist, für den Checkmk-Agenten den Push-Modus aktivieren.

Der Agent mit Agent Controller setzt eine Linux-Distribution mit systemd voraus, präziser systemd in einer Version 219 oder neuer.

Die Chance ist groß, dass diese Voraussetzung auf Ihrem Host erfüllt ist, da seit 2015 die meisten Linux-Distributionen systemd als init-System übernommen und damit andere init-Systeme wie SysVinit ersetzt haben, z.B. SUSE Linux Enterprise Server ab Version 12, openSUSE ab Version 12.1, Red Hat Enterprise Linux ab Version 7, Fedora ab Version 15, Debian ab Version 8 und Ubuntu ab Version 15.04. Leider bringt der Vergleich der Versionsnummer alleine keine Gewissheit, da systemd auch auf einem aktuellen Linux-System fehlen kann, wenn dieses Jahre lang „nur“ aktualisiert wurde.

Neben der Version von systemd sind einige weitere Voraussetzungen zu erfüllen, die in diesem Kapitel abgeprüft werden.

Achtung: Push-Modus und Autoregistrierung sind zwingend an den Agent Controller gebunden und daher nicht nutzbar im Legacy-Modus, auf den wir in diesem Kapitel mehrfach verweisen.

Prüfen Sie zunächst auf dem Host, auf dem der Agent installiert werden soll, ob und in welcher Version systemd läuft:

Die obige Kommandoausgabe zeigt, dass systemd in der richtigen Version installiert ist. Falls systemd nicht, oder nur in einer zu alten Version läuft, kann der Agent Controller nicht verwendet werden. Schließen Sie die Einrichtung ab, wie im Artikel Linux überwachen im Legacy-Modus beschrieben.

Prüfen Sie nun, ob der Agent Controller gestartet werden kann:

Als Ausgabe sollte die Versionsnummer zu sehen sein, beispielsweise:

In seltenen Fällen erscheint die folgende Fehlermeldung:

Ursache hierfür ist, dass Ihr Linux eine andere Rechnerarchitektur als x86_64 nutzt, zum Beispiel das ältere 32-Bit x86 oder ARM. In diesem Fall kann der Agent Controller nicht verwendet werden. Schließen Sie die Einrichtung ab, wie im Artikel Linux überwachen im Legacy-Modus beschrieben.

Im nächsten Schritt gilt es herauszufinden, welches Programm auf Port 6556 auf Anfragen wartet:

Hier ist es cmk-agent-ctl. Die Voraussetzungen für verschlüsselte Kommunikation sind also erfüllt. Steht innerhalb der Klammer stattdessen systemd, xinetd oder inetd, sind die Voraussetzungen für die Verwendung des Agent Controllers nicht gegeben. Schließen Sie auch in diesem Fall die Einrichtung ab, wie im Artikel Linux überwachen im Legacy-Modus beschrieben.

Die Registrierung erfolgt mit dem Agent Controller cmk-agent-ctl, der für die Konfiguration der Verbindungen eine Kommandoschnittstelle bietet. Sie können sich mit cmk-agent-ctl help die Kommandohilfe anzeigen lassen, auch spezifisch für die verfügbaren Subkommandos, z.B. mit cmk-agent-ctl help register.

Ob der Host dabei für den Pull-Modus oder den Push-Modus konfiguriert ist, macht für die Befehlsbeispiele keinen Unterschied. In welchem Modus der Agent Controller arbeiten soll, teilt ihm der Agent Receiver bei der Registrierung mit.

Begeben Sie sich nun zum Host, der registriert werden soll. Hier ist mit root-Rechten eine Anfrage an die Checkmk-Instanz zu stellen:

Dabei ist der Host-Name hinter der Option --hostname exakt so anzugeben, wie zuvor beim Erstellen im Setup. Die Optionen --server und --site geben den Namen des Checkmk-Servers und der Instanz an. Der Server-Name darf auch die IP-Adresse sein, der Instanzname (hier mysite) entspricht demjenigen, den Sie im URL-Pfad der Weboberfläche sehen. Komplettiert werden die Optionen durch Name und Passwort des Automationsbenutzers. Wenn Sie die Option --password auslassen, wird das Passwort interaktiv abgefragt.

Waren die angegebenen Werte korrekt, werden Sie aufgefordert, die Identität der Checkmk-Instanz zu bestätigen, zu der Sie die Verbindung herstellen wollen. Das zu bestätigende Server-Zertifikat haben wir aus Gründen der Übersichtlichkeit stark verkürzt:

Bestätigen Sie mit Y, um den Vorgang abzuschließen.

Falls keine Fehlermeldung angezeigt wird, ist die verschlüsselte Verbindung hergestellt. Über diese Verbindung werden alle Daten komprimiert übertragen.

Wenn Sie die interaktive Zertifikatsprüfung – beispielsweise, um die Registrierung komplett automatisieren zu können – abschalten wollen, können Sie den zusätzlichen Parameter --trust-cert verwenden. Dem übermittelten Zertifikat wird dann automatisch vertraut. Beachten Sie in diesem Fall, dass Sie auf anderem Weg die Integrität des Zertifikats sicher stellen sollten. Dies kann (von Hand oder per Skript) durch Kontrolle der Datei /var/lib/cmk-agent/registered_connections.json erfolgen.

Checkmk bietet ab Checkmk Cloud die Möglichkeit, Hosts automatisch bei der Registrierung anzulegen. Für die Autoregistrierung benötigen Sie zusätzlich zu einem Benutzer mit der Berechtigung Hosts zu registrieren, mindestens einen Ordner, der für die Aufnahme der automatisch zu erstellenden Hosts konfiguriert ist.

Ist dies der Fall, können Sie die Registrierung inklusive automatischer Erstellung des Hosts auch per Kommandozeile vornehmen.

In der Regel werden Sie den Weg über die Einstellungen der Agentenbäckerei gehen, welche die Konfigurationsdatei /var/lib/cmk-agent/pre_configured_connections.json ins Agentenpaket integrieren und die Registrierung automatisch bei der Installation vornehmen. Der hier vorgestellte Kommandozeilenaufruf dient daher primär dem Test und der Fehlersuche, beispielsweise dem Ausprobieren eigener Agenten-Labels mit der Option --agent-labels <KEY=VALUE>.

Größter Unterschied hier ist das geänderte Subkommando register-new, mit dem die Registrierung und die Erstellung eines neuen Hosts in der Checkmk-Instanz angefragt wird. Als Name des Hosts wird der in der Umgebungsvariable $HOSTNAME hinterlegte verwendet. Die anschließende Bestätigung des Zertifikats entspricht der im letzten Abschnitt gezeigten.

Ob der Host im Pull-Modus, im Push-Modus oder überhaupt nicht angelegt wird, entscheiden Ihre Einstellungen des Regelsatzes Agent registration. Nach erfolgreicher Registrierung können mehrere Minuten vergehen, bis der Host im Monitoring auftaucht.

Das Kommando cmk-agent-ctl status zeigt nun genau ein Vertrauensverhältnis zum Checkmk-Server:

Ist die Information in einem maschinenlesbaren Format erforderlich, hängen Sie den zusätzlichen Parameter --json an, um die Ausgabe als JSON-Objekt formatiert zu erhalten.

Hinweis: Es kann stets nur ein Vertrauensverhältnis zwischen Host und Instanz geben. Wenn Sie beispielsweise den bereits registrierten Host mynewhost unter anderem Namen (mynewhost2), aber mit der gleichen IP-Adresse registrieren, dann ersetzt die neue Verbindung die bestehende. Die Verbindung von mynewhost zur Instanz wird gelöst und für den Host werden keine Agentendaten mehr für das Monitoring geliefert.

Zur leichteren Registrierung mehrerer Hosts kann ein beliebiger Host, auf dem der Agent installiert ist, eine Registrierung im Auftrag anderer durchführen. Dabei wird eine JSON-Datei exportiert, die dann auf den Ziel-Host übertragen und dort importiert werden kann. Auch hier gilt wie zuvor: Der im Auftrag registrierte Host muss in der Instanz bereits eingerichtet sein.

Zunächst wird auf einem beliebigen im Setup befindlichen Host die Registrierung stellvertretend durchgeführt. Hier bietet sich natürlich der Checkmk-Server an, der in der Regel als erster Host eingerichtet wird. Wie beim Beispiel oben gilt, dass Sie das Passwort per Option übergeben können oder interaktiv danach gefragt werden, wenn Sie die Option --password weglassen. Die JSON-Ausgabe leiten wir im Beispiel in eine Datei um:

Nun übertragen wir die Datei /tmp/mynewhost3.json auf den Host, für den wir die Registrierung durchgeführt haben, und importieren die Datei:

Der gesamte Vorgang ist auch in einer Pipeline möglich, in der Sie die Ausgabe von cmk-agent-ctl proxy-register an ssh hostname cmk-agent-ctl import übergeben:

Sobald die Registrierung fertiggestellt ist, führen Sie im Setup des Checkmk-Servers einen Verbindungstest und eine Service-Erkennung durch. Anschließend nehmen Sie die gefundenen Services ins Monitoring auf, indem Sie als letzten Schritt die Änderungen aktivieren.

Falls der Verbindungstest fehlschlägt, finden Sie im folgenden Kapitel Informationen zu Test und Fehlerdiagnose.

Die Registrierung eines Hosts können Sie auch wieder rückgängig machen.

Auf einem Host, der mit dem Checkmk-Server verbunden ist, können Sie das Vertrauensverhältnis widerrufen. Dabei ist im folgenden Kommando der anzugebende Universally Unique Identifier (UUID) derjenige, der beim Kommando cmk-agent-ctl status ausgegeben wird:

Um alle Verbindungen des Hosts zu entfernen und zusätzlich den Legacy-Pull-Modus wiederherzustellen, geben Sie folgendes Kommando ein:

Anschließend verhält sich der Agent wie nach der erstmaligen Installation und vor der ersten Registrierung und sendet seine Daten unverschlüsselt.

Komplettiert wird die Deregistrierung auf dem Checkmk-Server: Im Setup wählen Sie auf der Seite Properties of host den Menüeintrag Host > Remove TLS registration aus und bestätigen die Nachfrage.

Falls Sie die Kommandozeile bevorzugen: Auf dem Checkmk-Server existiert für jede Verbindung eines registrierten Hosts, der sich im Monitoring befindet, ein Softlink mit der UUID, welcher auf den Ordner mit der Agentenausgabe zeigt:

Ab Checkmk Cloud können Sie Hosts vom Push- zum Pull-Modus und umgekehrt umstellen. Dies kann in Einzelfällen nötig sein, wenn Änderungen an der Netzwerktopologie anstehen oder ein Downgrade auf Checkmk Enterprise durchgeführt werden soll, wo nur der Pull-Modus möglich sind.

Stellen Sie zunächst im Setup, in den Eigenschaften des Hosts, den Zugriffsmodus mit der Option Checkmk agent connection mode um. Innerhalb der nächsten Minute werden alle Services den Status UNKNOWN annehmen, weil keine Monitoring-Daten eingehen. Führen Sie anschließend eine erneute Registrierung durch. Bei dieser erneuten Registrierung teilt der Agent Receiver des Checkmk-Servers dem Agent Controller mit, ob er Daten im Pull- oder im Push-Modus erwartet. Die anschließende Kontrolle mit cmk-agent-ctl status zeigt dann eine neue UUID und den Modus konsistent mit der Änderung im Setup an.

Das Agentenskript ist ein einfaches Shellskript, welches Daten über Ihr System beschafft und als lose formatierten Text ausgibt. Sie können es direkt auf der Kommandozeile aufrufen. Da die Ausgabe etwas länger sein kann, ist der Pager less zum Scrollen der Ausgabe hier sehr praktisch. Sie können Ihn mit der Taste Q verlassen:

So ermitteln Sie, ob das Agentenskript und Ihre Plugins und lokalen Checks richtig installiert sind.

Sie müssen übrigens nicht unbedingt root sein, um den Agenten aufzurufen. Allerdings werden dann in der Ausgabe einige Informationen fehlen, zu deren Beschaffung root-Rechte erforderlich sind (z.B. Multipath-Informationen und die Ausgaben von ethtool).

Damit eventuelle Fehlerausgaben von nicht funktionierenden Plugins oder Befehlen nicht die eigentlichen Daten „verunreinigen“, unterdrückt das Agentenskript generell den Standardfehlerkanal (STDERR). Sind Sie auf der Suche nach einem bestimmten Problem, können Sie diesen wieder aktivieren, indem Sie das Agentenskript in einem speziellen Debug-Modus aufrufen.

Vorbereitend sollten Sie prüfen, ob das Agentenskript und der Agent Controller im Dump-Modus eine identische Ausgabe liefern und gegebenenfalls eine identische Umgebung (environment) sicherstellen. Dies kann durch Setzen von Variablen in einem Plugin/lokalen Check oder der Shell geschehen. Einen Dump der Umgebung können Sie erstellen, indem Sie die Zeile

zu einer Plugin-Datei hinzufügen und dann den Inhalt der Datei nach Ausführung durch den Agent Controller ansehen.

Die Ausgabe der zusätzlichen Debug-Informationen erledigt dann die Option -d. Dabei werden auch sämtliche Shell-Befehle ausgegeben, die das Skript ausführt. Damit Sie hier mit less arbeiten können, müssen Sie Standardausgabe (STDOUT) und Fehlerkanal mit 2>&1 zusammenfassen:

Schlägt die Registrierung eines Hosts im Monitoring fehl, ohne dass überhaupt das Zertifikat angezeigt wird, hilft Kenntnis der involvierten Netzwerkkommunikation bei der Identifizierung des Problems — und natürlich bei der Behebung.

Nach Absetzen des Kommandos cmk-agent-ctl register fragt der Agent Controller zunächst mittels REST-API den Checkmk-Server nach dem Port des Agent Receivers. Im zweiten Schritt wird eine Verbindung zum Agent Receiver aufgebaut, um das Zertifikat abzurufen. Sie können die erste Anfrage auf dem Host mit einem Programm wie curl simulieren:

Der Parameter --insecure weist curl hier an, keine Zertifikatsprüfung vorzunehmen. Dieses Verhalten entspricht dem Verhalten des Agent Controller an dieser Stelle. Die Antwort ist lediglich wenige Bytes groß und besteht aus der Port-Nummer des Agent Receiver. Bei der ersten Instanz auf einem Server wird die Antwort einfach 8000 lauten, bei der zweiten 8001 und so weiter. Typische Probleme bei dieser Anfrage sind:

Falls die obige Anfrage fehlschlägt, können Sie die Routing- oder Firewall-Einstellungen so verändern, dass der Zugriff möglich ist.

Wenn der zu registrierende Host einen HTTP-Proxy verwendet, nutzt curl diesen, cmk-agent-ctl jedoch nicht in den Standardeinstellungen. Mit der zusätzlichen Option --detect-proxy weisen Sie cmk-agent-ctl an, den systemweit konfigurierten Proxy zu nutzen.

Oft dürfte es am einfachsten sein, auf dem Checkmk-Server den Port des Agent Receiver auszulesen und zu notieren. Führen Sie dazu den folgenden Befehl als Instanzbenutzer aus:

Sie können nun den ermittelten Port bei der Registrierung direkt angeben und so die erste Anfrage via REST-API überspringen. Die Kommunikation findet dann ohne Umwege direkt mit dem Agent Receiver statt:

Auch dieser Port 8000 muss vom Host aus erreichbar sein. Ist er das nicht, erhalten Sie die eindeutige Fehlermeldung:

Analog zu Port 443 (respektive 80) oben können Sie jetzt die Routing- oder Firewall-Einstellungen so anpassen, dass der zu registrierende Host den Checkmk-Server auf dem Port des Agent Receiver (8000 oder 8001…) erreichen kann.

Im Falle der Registrierung im Push-Modus gilt: Hat die Registrierung funktioniert, wird auch der minütliche Transfer der Agentenausgabe erfolgreich sein.

Sollten Sicherheitsrichtlinien in Ihrer Umgebung den Zugriff auf den Agent Receiver nicht zulassen, haben sie die Möglichkeit, auf dem Checkmk-Server selbst die Registrierung im Auftrag vorzunehmen.

Der Agent Controller stellt ein eigenes Subkommando dump bereit, das die vollständige Agentenausgabe anzeigt, wie sie im Monitoring ankommt:

So können Sie überprüfen, ob die Daten vom Agentenskript beim Agent Controller angekommen sind. Diese Ausgabe beweist noch nicht, dass der Agent auch über das Netzwerk erreichbar ist.

In einigen Fällen sieht die Ausgabe wie folgt aus:

Dies ist der Fall, wenn der Socket des Agenten nicht im Hintergrund läuft – beispielsweise unmittelbar nach einem Update. Starten Sie diesen Hintergrundprozess neu:

Schlägt cmk-agent-ctl dump erneut fehl, prüfen Sie, ob und wenn, welches Programm an Port 6556 lauscht:

Ist die Ausgabe leer oder innerhalb der Klammer steht ein anderer Befehl als cmk-agent-ctl, sind die Systemvoraussetzungen für die Nutzung des Agent Controllers nicht erfüllt. Schließen Sie in diesem Fall die Einrichtung ab, wie im Artikel Linux überwachen im Legacy-Modus beschrieben.

Ist im Pull-Modus sichergestellt, dass lokal das Agentenskript und die mitinstallierten Plugins korrekt ausgeführt werden, können Sie als Nächstes per netcat (oder nc) prüfen, ob Port 6556 über die externe IP-Adresse des Hosts erreichbar ist:

Die Ausgabe 16 zeigt an, dass die Verbindungsaufnahme erfolgreich war und nun der TLS-Handshake stattfinden kann. Da alles weitere hier TLS verschlüsselt stattfindet, ist keine detaillierte Prüfung möglich.

Schlägt der Verbindungstest von außen fehl, liegt dies meist an der Firewall-Einstellung. Konfigurieren Sie iptables oder nftables in diesem Fall so, dass Zugriff auf TCP Port 6556 vom Checkmk-Server aus möglich ist.

Falls die Kommunikation zwischen Agent und Checkmk-Server noch unverschlüsselt ist (wie im Legacy-Pull-Modus) oder unverschlüsselt ist und auch bleibt (wie im Legacy-Modus), erhalten Sie mit diesem Kommando statt der 16 die komplette unverschlüsselte Agentenausgabe.

Hinweis: Weitere Diagnosemöglichkeiten zur Ausführung auf dem Checkmk-Server finden Sie im allgemeinen Artikel über die Monitoring-Agenten.

Im Ordner ~/var/agent-receiver/received-outputs/ Ihrer Checkmk-Instanz finden Sie für jeden registrierten Host einen Softlink, der als Name die UUID des Hosts verwendet. Bei Hosts im Push-Modus zeigt dieser Softlink auf den Ordner mit der Agentenausgabe, bei Pull-Hosts auf eine nicht vorhandene Datei mit dem Namen des Hosts, wie er im Monitoring verwendet wird.

Anhand des Alters der zwischengespeicherten Agentenausgabe können Sie ermitteln, ob die regelmäßige Übertragung erfolgreich war oder beispielsweise durch sporadische Netzwerkprobleme vereitelt wird.

Des Weiteren können Sie auf dem Host mit dem Kommando systemctl status cmk-agent-ctl-daemon den Status der letzten Übertragungen und Übertragungsversuche auslesen. Zeilen wie die folgende deuten auf Verbindungsprobleme hin:

Wurde ein Host für die Autoregistrierung mit dem Regelsatz Agent controller auto-registration konfiguriert und die Option Keep existing connections auf no gesetzt, werden bei jedem Neustart des Dienstes cmk-agent-ctl-daemon (beispielsweise beim Neustart eines Hosts) alle anderen Verbindungen entfernt — außer der für die Autoregistrierung konfigurierten Verbindung. Dies betrifft beispielsweise Hosts, auf denen vor der Installation des gebackenen Agentenpakets Verbindungen zu mehreren Instanzen eingerichtet waren oder nach der Installation des Agentenpakets manuell Verbindungen hinzugefügt wurden.

Sie können dieses Verhalten temporär ändern, indem Sie auf dem Host in der Datei /var/lib/cmk-agent/pre_configured_connections.json die Variable keep_existing_connections auf true setzen. Eine dauerhafte Änderung über ein Update der Agentenpakete hinweg erreichen Sie, indem Sie im oben genannten Regelsatz Keep existing connections auf yes setzen.

Bei der Autoregistrierung eines Hosts vergehen typischerweise etwa zwei Minuten, bis der Host im Monitoring auftaucht.

Wurde einem Host, der zuerst für den Push-Modus konfiguriert wurde, nachträglich eine Verbindung im Pull-Modus zu einer anderen Instanz hinzugefügt, vergehen bis zu fünf Minuten, bis Port 6556 geöffnet wird. Die sofortige Öffnung des Ports erreichen Sie durch den Neustart des Dienstes cmk-agent-ctl-daemon.

Sicherheit ist ein wichtiges Kriterium für jegliche Software, hier darf Monitoring keine Ausnahme machen. Da der Monitoring-Agent auf jedem überwachten Server installiert wird, hätte hier ein Sicherheitsproblem besonders gravierende Auswirkungen.

Deswegen wurde schon beim Design von Checkmk auf Sicherheit Wert gelegt und es gilt seit den ersten Tagen von Checkmk ein eherner Grundsatz: Der Agent liest keine Daten vom Netzwerk. Punkt. Somit ist mit Sicherheit ausgeschlossen, dass ein Angreifer über den Überwachungsport 6556 irgendwelche Befehle oder Skriptbestandteile einschleusen kann.

Für einen Angreifer kann jedoch bereits eine Prozessliste ein erster Ansatz sein, Rückschlüsse auf lohnenswerte Ziele zu ziehen. Daher ist die Transportverschlüsselung zwischen Agent und Checkmk-Server mit Transport Layer Security (TLS) ab Checkmk-Version 2.1.0 obligatorisch. Hierbei "pingt" der Checkmk-Server den überwachten Host an, der daraufhin die TLS-Verbindung zum Checkmk-Server aufbaut und darüber die Agentenausgabe überträgt. Da nur Checkmk-Server, zu denen ein Vertrauensverhältnis besteht, diese Datenübertragung initiieren können, besteht schon einmal kein Risiko, dass Daten in die falschen Hände gelangen.

Für die Absicherung der TLS-Verbindung verwendet Checkmk ein selbst signiertes Zertifikat, das kurz vor Ablauf seiner Gültigkeit automatisch ersetzt wird. Der Agent Controller kümmert sich um die rechtzeitige Erneuerung des Zertifikates vor seinem Ablauf. Nur längere Zeit inaktive Agenten, d.h., ohne laufenden Agent Controller, können ihre Registrierung bei Ablauf verlieren und müssen dann erneut registriert werden. Die Laufzeit des Zertifikats kann über die globale Einstellung Agent Certificates > Lifetime of certificates festgelegt werden.

Da nur autorisierte Checkmk-Server Daten abrufen können und nicht berechtigte Server nach einigen Bytes Handshake scheitern, ist die Gefahr einer Denial of Service (DoS) Attacke sehr gering. Aus diesem Grund ist aktuell keine weitere Zugriffsbeschränkung vorgesehen. Selbstverständlich können Sie Port 6556 per iptables gegen unberechtigten Zugriff sperren. Eine möglicherweise vorhandene und per Agentenbäckerei auf Clients übertragene Regel zur Einschränkung des Zugriffs auf bestimmte IP-Adressen wird vom Agent Controller ignoriert.

Insbesondere bei einem Update des Agenten kann es sein, dass die eingebaute (symmetrische) Verschlüsselung aktiv ist, die vom Agentenskript selbst durchgeführt wird. Sind TLS-Verschlüsselung und eingebaute Verschlüsselung gleichzeitig aktiv, dann ist die Entropie der übertragenen Daten so hoch, dass die ab Version 2.1.0 aktive Komprimierung keine Ersparnis der übertragenen Daten bringt – und die CPUs sowohl des Hosts als auch des Checkmk-Servers mit zusätzlichen Ver- und Entschlüsselungsschritten belasten.

Aus diesem Grund sollten Sie die eingebaute Verschlüsselung zeitnah nach dem Wechsel auf TLS deaktivieren.

Im ersten Schritt schalten Sie in der vorhandenen Regel unter Setup > Agents > Access to agents > Checkmk agent > Symmetric encryption (Linux, Windows) die Verschlüsselung ab.

Im zweiten Schritt benennen Sie auf dem Host des Agenten die Konfigurationsdatei /etc/check_mk/encryption.cfg um.

Im dritten und letzten Schritt legen Sie mit der Regel Enforce agent data encryption fest, dass der Checkmk-Server nur noch per TLS verschlüsselte Daten akzeptiert. Wählen Sie dazu in der Regel den Wert Accept TLS encrypted connections only aus.

Das Abschalten der Verschlüsselung mit der Agentenbäckerei geht so: Mit dem ersten Schritt, dem Ändern der Regel Symmetric encryption (Linux, Windows), sind Sie fast fertig. Sie brauchen nur noch neue Agenten zu backen und zu verteilen. Die Konfigurationsdatei /etc/check_mk/encryption.cfg wird automatisch für Sie geändert und mit in die Agentenpakete eingebaut. Übrig bleibt dann nur der dritte Schritt, d.h. die Änderung der Regel Enforce agent data encryption.

Nach dem nächsten automatischen Agenten-Update ist die Verschlüsselung des Agentenskripts abgeschaltet, aber durch den Agent Controller die Verschlüsselung garantiert. Beachten Sie, dass nach dem automatischen Agenten-Update nur noch registrierte Hosts Monitoring-Daten liefern können.

Das Agentenskript /usr/bin/check_mk_agent enthält eine ganze Reihe von Sektionen, welche Überwachungsdaten für diverse Check-Plugins liefern, die dann von der Service-Erkennung automatisch gefunden werden. Dazu gehören alle wichtigen Überwachungen des Betriebssystems.

Darüber hinaus gibt es die Möglichkeit, den Agenten um Agentenplugins zu erweitern. Das sind kleine Skripte oder Programme, die vom Agenten aufgerufen werden und diesen um weitere Sektionen mit zusätzlichen Monitoring-Daten erweitern. Das Checkmk-Projekt liefert eine ganze Reihe solcher Plugins mit aus, welche — wenn sie korrekt installiert und konfiguriert sind — in der Service-Erkennung automatisch neue Services liefern.

Warum sind diese Plugins nicht einfach in den Agenten fest integriert? Für jedes der Plugins gibt es einen der folgenden Gründe:

Die mitgelieferten Plugins für Linux und Unix finden Sie alle auf dem Checkmk-Server unter ~/share/check_mk/agents/plugins.

Auch über die Download-Seite der Agenten im Setup-Menü (wie im Kapitel Installation beschrieben) sind diese im Kasten Plugins verfügbar:

Zu allen von uns mitgelieferten Agentenplugins existieren die passenden Check-Plugins, welche deren Daten auswerten und Services erzeugen können. Diese sind bereits mitinstalliert, so dass neu gefundene Services sofort erkannt und konfiguriert werden können.

Hinweis: Bevor Sie ein Plugin auf dem Host installieren, werfen Sie einen Blick in die entsprechende Datei. Oft finden Sie dort wichtige Hinweise zur korrekten Verwendung des Plugins.

Die eigentliche Installation ist dann einfach: Kopieren Sie die Datei nach /usr/lib/check_mk_agent/plugins. Achten Sie dabei darauf, dass diese ausführbar ist. Falls nicht, verwenden Sie ein chmod 755. Der Agent wird das Plugin sonst nicht ausführen. Insbesondere, wenn Sie die Dateien nicht per scp übertragen sondern per HTTP von der Download-Seite holen, geht die Ausführungsberechtigung verloren.

Sobald das Plugin ausführbar ist und im richtigen Verzeichnis liegt, wird es vom Agenten automatisch aufgerufen und es entsteht eine neue Sektion in der Agentenausgabe. Diese trägt üblicherweise den gleichen Namen wie das Plugin. Komplexe Plugins (z.B. mk_oracle) erzeugen sogar eine ganze Reihe an neuen Sektionen.

Manche Plugins brauchen eine Konfigurationsdatei in /etc/check_mk/, damit sie funktionieren können. Bei anderen ist eine Konfiguration optional und ermöglicht besondere Features oder Anpassungen. Wieder andere funktionieren einfach so. Sie haben verschiedene Quellen, um an Informationen zu kommen:

Ebenso wie bei MRPE können Sie auch Plugins asynchron ausführen lassen. Das ist sehr nützlich, wenn die Plugins eine lange Laufzeit haben und die gewonnenen Statusdaten ohnehin nicht jede Minute neu erzeugt werden brauchen.

Die asynchrone Ausführung wird nicht über eine Datei konfiguriert. Stattdessen erzeugen Sie unter /usr/lib/check_mk_agent/plugins ein Unterverzeichnis, dessen Name eine Zahl ist: eine Anzahl von Sekunden. Plugins in diesem Verzeichnis werden nicht nur asynchron ausgeführt, sondern gleichzeitig geben Sie mit der Sekundenzahl eine Mindestwartezeit vor, bevor das Plugin erneut ausgeführt werden soll. Wird der Agent vor Ablauf der Zeit erneut abgefragt, verwendet er zwischengespeicherte Daten von der letzten Ausführung des Plugins. Damit können Sie ein größeres Intervall für das Plugin konfigurieren, als die typische eine Minute.

Folgendes Beispiel zeigt, wie das Plugin my_foo_plugin von synchroner Ausführung auf eine asynchrone Ausführung mit einem Intervall von 5 Minuten (oder 300 Sekunden) umgestellt wird:

Hinweis: Beachten Sie, dass einige Plugins bereits von sich aus eine asynchrone Ausführung umsetzen. Dazu gehört mk_oracle. Installieren Sie solche Plugins direkt nach /usr/lib/check_mk_agent/plugins.

In den kommerziellen Editionen können die mitgelieferten Plugins über die Agentenbäckerei konfiguriert werden. Diese sorgt sowohl für die Installation des Plugins selbst als auch für die korrekte Erstellung der Konfigurationsdatei, falls eine notwendig sein sollte.

Jedes Plugin wird über eine Agentenregel konfiguriert. Sie finden die passenden Regelsätze in Setup > Agents > Windows, Linux, Solaris, AIX > Agent rules > Agent Plugins:

Da Agentenplugins ausführbare Programme sind, können Sie diese zu Test-und Diagnosezwecken auch von Hand ausführen. Es gibt allerdings Plugins, welche bestimmte vom Agenten gesetzte Umgebungsvariablen brauchen, um z.B. ihre Konfigurationsdatei zu finden. Setzen Sie diese vor der Ausführung von Hand:

Einige Plugins kennen auch spezielle Aufrufoptionen zum Debuggen. Werfen Sie einfach einen Blick in die Plugin-Datei.

Es gibt zwei gute Gründe, Nagios-Plugins auch unter Checkmk zu nutzen. Wenn Sie Ihr Monitoring von einer Nagios-basierten Lösung auf Checkmk migriert haben, können Sie ältere Check-Plugins, zu denen es noch kein Checkmk-Pendant gibt, zunächst weiternutzen. In vielen Fällen sind das selbst geschriebene Plugins in Perl oder Shell.

Der zweite Grund für die Verwendung ist echtes End-to-End-Monitoring. Nehmen wir an, Sie haben Ihren Checkmk-Server, einen Webserver und einen Datenbankserver über ein großes Rechenzentrum verteilt. In so einem Fall sind die Antwortzeiten des Datenbankservers vom Checkmk-Server aus gemessen wenig aussagekräftig. Weit wichtiger ist es, diese Werte für die Verbindung zwischen Web- und Datenbankserver zu kennen.

Der Checkmk-Agent bietet einen einfachen Mechanismus, diesen beiden Anforderungen gerecht zu werden: MK’s Remote Plugin Executor oder kurz MRPE. Der Name ist bewusst eine Analogie zum NRPE von Nagios, der dort die gleiche Aufgabe übernimmt.

Der MRPE ist im Agenten fest eingebaut und wird mit einer einfachen Textdatei konfiguriert, welche Sie als /etc/check_mk/mrpe.cfg selbst anlegen. Dort geben Sie pro Zeile einen Plugin-Aufruf an — zusammen mit dem Namen, den Checkmk für den Service verwenden soll, den es dafür automatisch erzeugt. Hier ist ein Beispiel:

Hinweis: Die Nagios-Plugins dürfen nicht im Verzeichnis /usr/lib/check_mk_agent/plugins abgelegt werden. Dieses Verzeichnis ist den Agentenplugins vorbehalten. Abgesehen von diesem Verzeichnis steht Ihnen die Wahl frei, solange der Agent die Plugins dort finden und ausführen kann.

Wenn Sie jetzt den Agenten lokal laufen lassen, finden Sie pro Plugin eine neue Sektion mit dem Titel <<<mrpe>>>, welche Name, Exitcode und Ausgabe des Plugins enthält. Das können Sie mit folgendem praktischen grep-Befehl überprüfen:

Die 0 bzw. 1 in der Ausgabe stehen für die Exitcodes der Plugins und folgen dem klassischen Schema: 0 = OK, 1 = WARN, 2 = CRIT und 3 = UNKNOWN.

Den Rest macht jetzt Checkmk automatisch. Sobald Sie die Service-Erkennung für den Host aufrufen, werden die beiden neuen Services als verfügbar angezeigt. Das sieht dann so aus:

Übrigens: Aufgrund der Syntax der Datei darf der Name keine Leerzeichen enthalten. Sie können aber mithilfe der gleichen Syntax wie in URLs ein Space durch %20 ersetzen (ASCII-Code 32 für Space ist Hexadezimal 20):

Beachten Sie, dass alle Plugins, die Sie in mrpe.cfg aufführen, der Reihe nach synchron ausgeführt werden. Die Plugins sollten daher keine allzu große Ausführungszeit haben. Wenn ein Plugin hängt, verzögert sich die Ausführung aller weiteren. Das kann dazu führen, dass das komplette Abfragen des Agenten durch Checkmk-in einen Timeout läuft und der Host nicht mehr zuverlässig überwacht werden kann.

Wenn Sie wirklich länger laufende Plugins benötigen, sollten Sie diese auf asynchrone Ausführung umstellen und das Problem damit vermeiden. Dabei legen Sie eine Zeit in Sekunden fest, die ein berechnetes Ergebnis Gültigkeit haben soll, z.B. 300 für fünf Minuten. Setzen Sie dazu in mrpe.cfg nach dem Servicenamen den Ausdruck (interval=300):

Das hat mehrere Auswirkungen:

Damit können Sie also Tests, die etwas mehr Rechenzeit benötigen, auch in größeren Intervallen ausführen, ohne dass Sie dazu am Checkmk-Server etwas konfigurieren müssen.

Nutzer der kommerziellen Editionen können MRPE auch mit der Agentenbäckerei konfigurieren. Zuständig dafür ist der Regelsatz Setup > Agents > Windows, Linux Solaris, AIX > Agent Rules > Generic Options > Execute MRPE checks. Dort können Sie die gleichen Dinge wie oben beschrieben konfigurieren. Die Datei mrpe.cfg wird dann von der Bäckerei automatisch generiert.

Moderne Festplatten verfügen fast immer über S.M.A.R.T. (Self-Monitoring, Analysis and Reporting Technology). Dieses System zeichnet kontinuierlich Daten zum Zustand der HDD oder SSD auf und Checkmk kann mit dem Plugin smart diese Werte abrufen und die wichtigsten davon auswerten. Damit das Plugin nach der Installation auch funktioniert, müssen folgende Voraussetzungen erfüllt sein:

Sind diese Voraussetzungen erfüllt und ist das Plugin installiert, werden die Daten automatisch ausgelesen und der Ausgabe des Agenten angehängt. In Checkmk können Sie die neuen Services dann auch direkt aktivieren:

Sollte — wie im Screenshot zu sehen — gelegentlich cmd_timeout auftreten, stellen Sie das Plugin auf asynchrone Ausführung im Abstand einiger Minuten um.

IPMI (Intelligent Platform Management Interface) ist eine Schnittstelle zum Hardware-Management, welche auch die Überwachung der Hardware ermöglicht. Checkmk nutzt dafür freeipmi, um direkt und ohne Netzwerk auf die Hardware zuzugreifen. freeipmi wird aus den Paketquellen installiert und ist danach sofort einsatzbereit, so dass die Daten schon beim nächsten Aufruf von Checkmk übermittelt werden.

Falls freeipmi nicht verfügbar ist, oder andere Gründe gegen eine Installation sprechen, kann auch ipmitool verwendet werden. ipmitool ist oft bereits auf dem System vorhanden und muss lediglich mit einem IPMI Gerätetreiber versorgt werden, wie ihn z.B. das Paket openipmi zur Verfügung stellt. Auch hier müssen Sie danach nichts weiter tun. Die Daten werden von Checkmk automatisch erfasst.

Zur Fehlerdiagnose können Sie die Tools auch händisch in einer Shell des Hosts ausführen. Haben Sie das Paket freeipmi installiert, können Sie die Funktion hiermit kontrollieren:

Wenn ipmitool installiert wurde, können Sie die Ausgabe der Daten mit folgendem Befehl prüfen:

Viele große Server-Hersteller bieten auch eigene Tools an, um die Hardware-Informationen auszulesen und über SNMP bereitzustellen. Es gelten dabei die folgenden Voraussetzungen, um diese Daten abrufen und Checkmk bereitstellen zu können:

Die dadurch unterstützten neuen Services für die Hardware-Überwachung werden dann automatisch erkannt. Es werden keine weiteren Plugins benötigt.

Man kann zu jedem Host ein Managementboard konfigurieren und zusätzliche Daten per SNMP holen. Die dadurch erkannten Services werden dann ebenfalls dem Host zugeordnet.

Die Einrichtung des Managementboards ist dabei sehr einfach. Geben Sie in den Eigenschaften des Hosts lediglich das Protokoll, die IP-Adresse und die Zugangsdaten für SNMP an und speichern Sie die neuen Einstellungen ab:

In der Service-Erkennung werden die neu erkannten Services dann wie gewohnt aktiviert.

Bei der Deinstallation des Agenten bleibt der vom Installationsskript angelegte Nutzer cmk-agent erhalten. Er dient dem Post-Install-Skript als Indikator dafür, dass der Agent bereits auf diesem System installiert war. Ist dies der Fall, wird bei einer späteren Neuinstallation kein Legacy-Pull-Modus aktiviert. Dies führt dazu, dass nach Ausführung von cmk-agent-ctl delete-all und späterer Neuinstallation des Agenten gar keine Verbindung auf Port 6556 möglich ist.

Sollte es erwünscht sein, wieder den unverschlüsselten Legacy-Pull-Modus zu aktivieren, z.B. um die Kommunikation einer 2.0.0 Instanz mit einem 2.2.0 Agenten zu ermöglichen, müssen Sie diesen Modus explizit aktivieren.