Google Cloud Platform (GCP) überwachen

In Checkmk ordnen sich alle zu überwachenden Objekte in eine hierarchische Struktur von Hosts und Services ein. Nun gibt es bei Cloud-basierten Diensten das Konzept von Hosts in dieser Form nicht. Um die Einfachheit und Konsistenz von Checkmk zu bewahren, bilden wir GCP-Objekte auf das Schema Host/Service ab. Jedes Ihrer Projekte in der Google Cloud wird dabei einem eigenen Host in Checkmk zugewiesen. Alle Cloud-Produkte, die Sie in diesem Projekt überwachen möchten, werden dann auf mehrere Services auf diesem speziellen Host aufgeteilt.

Ein kleines Projekt, in dem nur eine Compute Engine-VM läuft, kann dann in der Überwachung in Checkmk so aussehen:

GCP stellt eine HTTP-basierte API bereit, über die auch Monitoring-Daten abrufbar sind. Checkmk greift auf diese API über den Spezialagenten agent_gcp zu. Dieser tritt an die Stelle des Checkmk-Agenten, wird aber - anders als dieser - lokal auf dem Checkmk-Server ausgeführt.

Melden Sie sich in der Konsole von Google Cloud an. Achten Sie darauf, dass in der Titelzeile das korrekte Projekt ausgewählt ist bzw. wählen Sie hier das zu überwachende Projekt aus.

Öffnen Sie dann das Dashboard des Projekts. Hier sollten Sie - wenn das Dashboard noch dem Standard entspricht - eine Karte finden auf der die Project ID angegeben ist. Kopieren oder notieren Sie diese.

Sollte die Karte mit den Projektinformationen nicht mehr Teil Ihres Dashboards sein, finden Sie die notwendige ID auch über die Project settings:

Öffnen Sie als nächstes die Benutzerverwaltung unter IAM & Admin. In der Übersicht auf der linken Seite müssen Sie nun Service Accounts auswählen und dann oben auf Create Service Account klicken. Legen Sie anschließend einen Namen für den Service Account fest. Wir empfehlen hier einen Namen zu vergeben, der sofort klar macht, wofür dieser Account da ist, bspw. checkmk-monitoring. Zusätzlich zu einem sprechenden Namen können Sie optional noch eine Beschreibung - eine Service Account Description - angeben. Nach einem Klick auf Create and continue müssen Sie diesem Service-Account noch die beiden Rollen Monitoring Viewer und Cloud Asset Viewer zuweisen. Klicken Sie dafür jeweils in das Feld Select a role und geben Sie den Rollennamen ein.

Achtung: Wenn Sie Monitoring Viewer in das Feld eingeben, werden Ihnen eine ganze Reihe Rollen mit ähnlichen Namen angezeigt. Achten Sie darauf tatsächlich Monitoring Viewer zu wählen.

Nach der Auswahl der Rollen, können Sie den nächsten optionalen Schritt überspringen und direkt auf Done klicken.

Damit Sie über diesen neuen Service Account auch tatsächlich auf die Monitoring- und Asset-Daten Ihrer Google Cloud zugreifen können, müssen Sie noch einen Schlüssel erzeugen. Diesen hinterlegen Sie später in der entsprechenden Regel in Checkmk bzw. im Password store.

In der Übersicht Service accounts for project My Project können Sie dazu in der Zeile Ihres neuen Service Accounts auf die drei Punkte klicken und dort Manage keys auswählen. Klicken Sie sodann auf Add key und dann auf Create new key. Wählen Sie als Format unbedingt JSON aus und klicken Sie auf Create. Mit diesem Klick auf Create wird - leicht übersehbar - eine Datei im JSON-Format heruntergeladen. Bewahren Sie diese Datei vorübergehend gut auf, da Sie sie nicht erneut herunterladen können. Wir empfehlen allerdings, auch diese Datei zu löschen, nachdem Sie deren Inhalt in Checkmk hinterlegt haben (siehe Regel für GCP-Agenten anlegen). Bei Bedarf sollte ein neuer Schlüssel erzeugt und der alte gänzlich verworfen werden.

Auf der Übersichtsseite Ihres GCP-Projekts finden Sie auch den Menüpunkt APIs & Services. Überprüfen Sie in dieser Übersicht, ob die Cloud Asset API in der Liste der Enabled APIs & services auftaucht. Wenn dem nicht der Fall ist, aktivieren Sie diese API über den Knopf Enable APIs and services. Nach der Aktivierung dauert es noch einige Minute bis die API auch tatsächlich ansprechbar ist.

In der Google Cloud Platform werden Abrechnungsinformationen separat von den Ressourcen gespeichert. Im Regelfall werden dazu eigene Projekte für die Kostenanalyse in GCP angelegt, in welchen dann wiederum die Abrechnungsinformationen für andere Projekte gesammelt werden. Um diese Informationen auch mit Checkmk überwachen zu können ist es unerlässlich, dass diese Daten innerhalb der GCP nach BigQuery exportiert werden. Nur Daten, die in Tabellen von BigQuery vorliegen sind von außen - und somit für Checkmk - abrufbar. Wie ein solcher Export innerhalb von GCP eingerichtet wird, wird in dem Dokument Cloud Billing-Daten nach BigQuery exportieren der GCP-Hilfe ausführlich erklärt.

Wenn Sie BigQuery eingerichtet haben bzw. ohnehin bereits nutzen, finden Sie im SQL-Arbeitsbereich des Abrechnungsprojekts eine Auflistung der enthaltenen Tabellen. Öffnen Sie die Tabelle des Abrechnungsprojekts und klicken Sie auf den Reiter Details. Unter Tabellen-ID finden Sie die Information, die Sie beim Anlegen der Regel in Checkmk unter Costs > BigQuery table ID eintragen müssen.

Der Service für die Überwachung der Projektkosten ist als Übersicht ausgelegt. Es werden ausschließlich die monatlichen Kosten der einzelnen Projekte angezeigt und überwacht. Schwellwerte für diese monatlichen Kosten können Sie mit der Regel GCP Cost festlegen.

Legen Sie für die Überwachung von GCP nun einen Host in Checkmk an. Den Host-Namen können Sie nach Belieben vergeben. Wenn Sie mehrere Projekte in GCP überwachen wollen, müssen Sie für jedes Projekt einen eigenen Host in Checkmk anlegen.

Wichtig: Da GCP als Dienst weder eine IP-Adresse noch einen DNS-Namen hat (den Zugriff macht der Spezialagent von selbst), müssen Sie die IP address family auf No IP einstellen.

Wie eingangs erwähnt werden Projekte auf der Google Cloud Platform von einem Spezialagenten überwacht. Dieser wird mit einer Regel konfiguriert, welche Sie über Setup > Agents > VM, cloud, container > Google Cloud Platform (GCP) finden.

Tragen Sie hier im entsprechenden Feld die Project ID ein, welche Sie zuvor in Ihrem Projekt nachgeschlagen haben.

Unter JSON credentials for service account muss als nächstes der Schlüssel eingetragen werden, welchen Sie für Ihren Service Account erzeugt haben. Sie müssen hier das gesamte JSON-Objekt (inklusive der geschweiften Klammern) hineinkopieren.

Unter GCP services to monitor können Sie nun auswählen, welche GCP-Produkte durch den Spezialagenten überwacht werden sollen. Um die API-Abfragen möglichst sparsam zu gestalten, empfehlen wir nur die Produkte auszuwählen, die tatsächlich in Ihrem Projekt verwendet werden.

Starten Sie nun eine Service-Erkennung des neu angelegten GCP-Hosts, wo Checkmk nun etliche Services finden sollte. Nachdem Sie die Services hinzugefügt haben, sieht das nach einem Aktivieren der Änderungen im Monitoring etwa so aus:

Services, die Compute Engine VM-Instanzen zugeordnet sind, werden nicht dem GCP-Host zugeordnet, sondern sogenannten Piggyback-Hosts. Dies funktioniert so, dass Daten, die vom GCP-Host abgerufen wurden, an diese Piggyback-Hosts, die ohne eigene Monitoring-Agenten arbeiten, verteilt werden. Dabei wird jeder VM-Instanz ein Piggyback-Host zugeordnet. Die Namen dieser Piggyback-Hosts setzen sich aus der ID Ihres Projekts, einem Unterstrich und dem vollständigen Namen der Instanz zusammen. Wenn Ihr Projekt beispielsweise die Projekt-ID my-project-19001216 trägt und Sie dann eine VM mit dem Namen my-instance01 überwachen, heißt der Piggyback-Host my-project-19001216_my-instance01. Legen Sie diese Hosts entweder von Hand an oder - falls möglich - überlassen Sie diese Aufgabe der dynamischen Host-Verwaltung.

Um Sie bei der Einrichtung des GCP-Monitorings zu unterstützen und auch zukünftig bei Problemen in der Kommunikation mit der Google Cloud API zu helfen, gibt es den Service Exceptions. Hier werden alle Fehlermeldungen, welche die Google Cloud API an den Spezialagenten zurückliefert, gesammelt und aufbereitet. Im Fehlerfall wird dieser Service standardmäßig CRIT und gibt bereits in der Summary einen Hinweis darauf, wo das Problem liegt.

Nach einem Klick auf den Namen des Services erhalten Sie dann eine sehr detaillierte Meldung, die oft einen Link an genau die Stelle in Ihrem GCP-Projekt enthält, an der es beispielsweise einer anderen Einstellung bedarf. In folgendem Beispiel ist die Cloud Asset API im überwachten Projekt deaktiviert.

Ein Klick auf den WWW-Globus bringt Sie dann genau auf die Seite in Ihrem Projekt, auf der sich diese API aktivieren lässt.