von Michael Haverbeck, Senior Consultant bei MightyCare Solutions GmbH.

Vom Weg der Überwachung zur Analyse

Server, Storage, Desktops, ja selbst die Netzwerke, werden heute im Rechenzentrum virtualisiert. Es gibt kaum ein Unternehmen, welches nicht irgendwo virtuelle Server oder Desktops betreibt. Dabei nimmt die Komplexität einer zentralisierten und virtualisierten Umgebung extrem zu, da alle Komponenten voneinander abhängig sind. Administratoren müssen nun Komponenten administrieren, mit denen Sie bisher nur am Rande zu tun hatten. Die Anforderungen an Stabilität, Verfügbarkeit und Leistung derartiger Infrastrukturen sind höher denn je. Umso wichtiger ist die Notwendigkeit, dass diese virtuellen Infrastrukturen ohne Probleme laufen. Das ist mit normalen Eventmanagement oder Monitoring kaum zu bewältigen.

Auf zu neuen Ufern …

Virtuelle Infrastrukturen erfordern einen neuen Ansatz des Betriebsmanagements. Herkömmliche Tools und Prozesse für physikalische Umgebungen überschwemmen die Administratoren mit Überwachungsdaten, Warnmeldungen und offenen Fragen, da sie nicht für hochgradig skalierbare und dynamische Infrastrukturen konzipiert sind. An dieser Stelle kommt die vCenter Operations Management Suite zum Einsatz, die diese Anforderungen abbilden kann. VMware vCenter Operations Management Suite unterstützt bei der Optimierung der Servicequalität, der betrieblichen Effizienz sowie der kontinuierlichen Sicherstellung der Compliance Vorgaben Ihres Unternehmens.

Eine Suite für viele Bedürfnisse

Die vCenter Operations Management Suite besteht aus den folgenden 5 Komponenten:

Abhängig von der erworbenen Edition sind diese 5 Komponenten entsprechend gebündelt. Basis der Suite bildet immer der vCenter Operations Manager, der in verschiedenen Ausprägungen (Funktionsumfang) in jeder der Editionen enthalten ist. Um Mehrwert und Nutzen der Komponenten aufzuzeigen, sind nachfolgend einige typische Anwendungsfälle (Use Cases) dargestellt.

vCenter Operations Manager

Viele Kunden nutzen zur Überwachung ihrer virtuellen Infrastruktur Werkzeuge, die noch aus der Ära der physikalischen Server stammen. Diese Tools decken jedoch die Herausforderungen, vor denen ein Betriebsteam heute steht, nicht ab. Ziel muss es sein, ein vollumfängliches Bild der komplexen virtuellen Umgebung zu erhalten. Hierdurch wird es erst  möglich, ein Troubleshooting schnell und effektiv durchführen zu können. Typische Anforderungen und Anwendungsfälle von Kunden sind:

Im Bereich Monitoring

• Ein zentrales Interface für die gesamte Umgebung

Unser Betriebs-Team steht vor der Herausforderung, eine immer weiter wachsende virtuelle Infrastruktur zu betreuen. Je größer und komplexer die Umgebung wird, desto schwieriger ist es, den Überblick zu behalten und auf Ereignisse reagieren zu können. Um den Betrieb zu gewährleisten benötigen wir ein Tool, das uns eine ganzheitliche Sicht auf die Umgebung ermöglicht. Über einen zentralen Einstiegspunkt soll es möglich sein, von der obersten Ebene bis auf die problemverursachenden Komponenten durchzuklicken (drill down, wie bei einem Ampelsystem). Vorhandene Abhängigkeiten innerhalb der virtuellen Infrastruktur werden dabei dargestellt.

• Selbstlernende Performance Analysefunktionen

Die sog. „End User Experience“ einer virtuellen Maschine kann nicht durch Betrachtung einzelner Metriken bewertet werden. Ein selbstlernendes, die Zusammenhänge und Abhängigkeiten berücksichtigendes Tool wird benötigt, das sich der Umgebung automatisch anpasst. Hier finden neben dem normalen Grundrauschen auch periodenabhängige Leistungsschwankungen Berücksichtigung.

• Dynamisch anpassende Schwellenwerte

Beim klassischen Ansatz einer Überwachung ist die Abweichung einer Metrik vom Schwellenwert als Alarm definiert. Eine virtuelle Umgebung verhält sich jedoch mehr wie ein Organismus. Wird auf eine solche Umgebung der klassische Monitoring Gedanke angewandt, so führt dies zu suboptimalen Ergebnissen. Ein modernes zeitgemäßes Monitoring muss sich interaktiv dem Verhalten des Organismus „Virtuelle Infrastruktur“ anpassen.

• Korrelation tausender Metriken und Events

Eine komplexe virtuelle Infrastruktur ist nicht mittels einer Unmenge von statischen Metriken zu bewerten. Eine neue Werteskala ist notwendig, um den „Gesundheitszustand“ des Systems „Virtuelle Infrastruktur“ beurteilen zu können.

• Erstellen von Custom Dashboards

Virtuelle Infrastrukturen liefern Metriken, die deren Gesundheitszustand durch geeignete Korrelationen darstellen. Damit die Zeit, die eine Fehleranalyse in Anspruch nimmt, reduziert werden kann, werden individuelle Ansichten (Dashboards) benötigt, die direkt zur kritischen Komponente führen. Typischerweise sind folgende Ansichten (Dashboards) individuell zu erstellen: –          Cluster Übersicht –          Host Übersicht –          VM Übersicht

• CPU Ready Werte
• VMs pro Datastore
• TOP 10 Verbraucher (CPU, RAM; Storage, Netzwerk)
• vCPU:pCore

–          Storage Übersicht –          Anwendungs-Übersicht

• Exchange
• MS Active Directory
• MS SQL
• Oracle
• usw

Kundenspezifische Sichtweisen oder Dashboards Kunden beklagen mitunter, dass die ihnen überlassene virtuelle Umgebung zu „langsam“ ist, die Verfügbarkeit nicht gegeben ist oder nicht ausreichend Performance zur Verfügung steht. Um dem Kunden pro aktiv mehr Einblick und eine Übersicht über die ihm zur Verfügung gestellte Umgebung zu geben, können individuell auf ihn abgestimmte Ansichten, unter Nutzung bestehender Rechtestrukturen bereitgestellt werden.

Im Bereich Troubleshooting

• Durchführen von Root Cause Analysen

„Root Cause Analyze“ – Funktionen (Ursachenanalyse) die auf den Best Practice Empfehlungen von VMware basieren, erleichtern das Auffinden von potenziellen Engpässen, lange bevor diese vom Endbenutzer bemerkt werden. Oft gerät man bei auftretenden Fehlern in „Finger Pointing“ – Situationen, da viele Komponenten voneinander abhängig sind. Proaktives Monitoring unterstützt hierbei durch sog. Smart Alerts. So können Systemfehler und Ausfälle verhindert werden und sie führen zu einer höheren Kundenzufriedenheit.

Im Bereich Kapazitätsmanagement

• Analyse: Änderung der VM Dichte

Der vCenter Operations Manager (vCOPS) ist in der Lage, unter Berücksichtigung der vCPU:Core und vMEM:vCPU Ratio eine „Was wäre wenn“-Analyse durchzuführen. Damit ist der Administrator in der Lage zu verifizieren was passiert, wenn eine Änderung der Ratio von 4:1 auf 6:1 durchgeführt werden würde. Des Weiteren wird der beste Wert dieser Ratio ermittelt.

• Analyse: Hinzufügen neuer Ressourcen

vCOPS ermittelt die möglichen Auswirkungen, wenn weitere Ressourcen (z.B. ein weiteres Storage System, weitere Server) hinzugefügt werden.

• Analyse: Kapazitätsreport

vCOPS liefert einen Kapazitätsreport, d.h., wann welche Ressource, wo, wie lange noch ausreichend ist und welche Ressource wo nachgerüstet / erweitert werden muss. Hierbei werden vordefinierte Rahmenparameter berücksichtigt.

• Analyse: Over-/Undersized VMs

vCOPS liefert eine Liste der über- bzw. unterdimensionierten virtuellen Maschinen und liefert Vorschläge zur Anpassung.

Die Foundation Edition liefert „nur“ die jeweiligen Register der „Umgebung“, „Operationen“ und „Warnungen“. Erst ab der Standard Edition aufwärts stehen auch die weiteren Register „Dashboard“, „Planung“, „Analyse“ und „Berichte“ zur Verfügung. Welche Unterschiede, respektive welchen Mehrwert die ab der Standard Edition verfügbaren Register bieten, wird an späterer Stelle aufgezeigt. Ab der Advanced und Enterprise Edition steht außerdem noch das vollständig frei konfigurierbare Webinterface zur Verfügung. Hiermit ist es möglich, individuelle Dashboards zu generieren und auf alle von vCOPS gesammelten Metriken zurückzugreifen. Die folgende Tabelle zeigt  die Unterschiede zwischen der Advanced- und Enterprise Edition:

Man erkennt schnell, dass der Mehrwert der Enterprise Edition sowohl in den bereits im Funktionsumfang enthaltenen zusätzlichen Adaptern zur Überwachung der o.g. Komponenten liegt, als auch im Bereich des Change-, Konfigurations- und Compliance Managements. (vCenter Operations Manager und Configuration Manager). Wird ein einzelner oder einige der in der Enterprise Edition schon enthaltenen Adapter benötigt, so können diese auch separat zugekauft und in die Advanced Version integriert werden. Außerdem gibt es noch folgende weitere kostenpflichtige Adapter:

vCenter Configuration Manager

Das zweite Produkt der vCenter Operations Manager Suite ist der Configuration Manager (vCCM). Dieses Produkt ist für den Bereich Konfiguration, Change und Compliance zuständig. Ab der Advanced Edition ist es Bestandteil der Suite. Es interagiert mit dem vCenter Operations Manager und ergänzt das Monitoring um Konfigurations- und Compliance Informationen. Typische Anforderungen und Anwendungsfälle von Kunden sind:

Im Bereich Konfigurationsmanagement

• Kundenspezifische Konfigurations-Reports

Normalerweise prüft das Betriebsteam die Konfiguration der vCenter- und vSphere Server in regelmäßigen Abständen, manuell, anhand definierter Checklisten. Dieser Vorgang nimmt viel Zeit in Anspruch und ist fehlerbehaftet. Um Zeit einzusparen und die Fehleranfälligkeit zu minimieren ist es sinnvoll und notwendig diesen Vorgang zu automatisieren. Beispielhafte Situationen: –            Das Betriebsteam kann nicht mit Sicherheit sagen, ob alle ESX-Hosts und virtuelle Maschinen eine definierte einheitliche Konfiguration besitzen. Das Produkt muss in der Lage sein diese Konfiguration anhand von vordefinierten Konfigurationsschemata zu prüfen und ggf. notwendige Änderungen auf Knopfdruck umzusetzen. –            Das Betriebsteam nutzt Custom Alerts auf vCenter Server Ebene. Der vCCM ist in der Lage zu prüfen, ob auf allen vCenter Servern diese Custom Alerts existieren. –            Das Betriebsteam sammelt eine Unmenge an Informationen aus der gesamten Umgebung, um den optimalen Ort für das Deploy einer virtuellen Maschine zu ermitteln. Der vCenter Configuration Manager ist in der Lage diesen Vorgang zu automatisieren und den optimalen Ort für das Erstellen einer virtuellen Maschine zu ermitteln.

Im Bereich Reporting

• Custom Reports

Der vCenter Op-Manager ermöglicht die Erstellung von individuellen Reporten. –          Welche Hardware wird wo in der Umgebung eingesetzt? Diese Daten dienen als Basis für ein Kostenmodell.

• Wie viele virtuelle Maschinen laufen wo und welches Betriebssystem wird verwendet.
• Wie sind die virtuellen Maschinen konfiguriert (CPU, RAM, Storage etc.)? Diese Informationen werden für gebräuchliche Konfigurationsmodelle benötigt und dienen der Kapazitätsplanung.
• Welche virtuellen Maschinen haben Disk Images und/oder CD-ROMs bzw. ISOs gemountet? Welche Snapshots werden wo genutzt und wann wurden diese erstellt?

Weiterhin wird sichergestellt, dass keine Show Stopper für die HA-Funktion oder das automatisierte Patchen der ESX-Hosts existieren. Des Weiteren können Probleme bei der Datensicherung aufdeckt und frühzeitig behoben werden.

Im Bereich Compliance

• Compliance Prüfungen

Gerade das Thema Sicherheit hat für Unternehmen einen hohen Stellenwert. Zu diesem Zweck sind mit der IT-Sicherheit Vorgaben erarbeitet worden, die es auf allen Systemen zeitnah umzusetzen gilt.

• Der vCCM erstellt regelmäßig Reporte, die solche Systeme identifizieren, die nicht den vorgegebenen Sicherheitsrichtlinien entsprechen.
• Es werden regelmäßig Reporte erstellt, die zeigen, ob die Umgebung BSI-Konform ist.

Neue Ansätze für das Troubleshooting oder wie wir einfacher verstehen lernen und Ansätze für ein besseres Trouble Shooting bekommen

Das Produkt vCenter Operations Manager, nachfolgend vCOPS genannt, stellt Informationen und Daten in einem einzigen Dashboard vereint, einen Single View of Operations, bereit. Hierdurch werden alle wichtigen Informationen wie Performance, Kapazität und Konfiguration auf einen Blick gesehen. Beim Starten von vCOPS, öffnet sich das nachfolgende Bild, den sog. Single View of Operations.

Dashboards

Nachfolgend werden die Konzepte, die hinter den Dashboards stehen mit Zahlen und Grafiken beschrieben. Ergänzend sei noch erwähnt, dass die im obigen Bild gezeigte Dashboard Ansicht erst ab der Standard Edition von vCOPS verfügbar ist. Grundlegend ist das Dashboard von vCOPS in drei Spalten untergliedert, die mit Systemzustand, Risiko und Effizienz betitelt sind. Die linke Spalte, als SYSTEMZUSTAND bezeichnet (engl. HEALTH), informiert über aktuelle unmittelbare Probleme der virtuellen Infrastruktur. Hier befinden sich alle Komponenten, die unmittelbarer Aufmerksamkeit bedürfen, da diese bereits Probleme bereiten oder gerade damit beginnen.

Die mittlere Spalte, als RISIKO bezeichnet (engl. RISK), informiert über bevorstehende, in der Zukunft liegende Ereignisse. In diesem Bereich ist kein akuter Handlungsbedarf und es wird vielmehr auf Ereignisse hingewiesen, die in der nahen Zukunft zu einem Problem führen können.

  Die rechte Spalte, als EFFIZENZ bezeichnet (engl. EFFICIENCY), informiert über Möglichkeiten, wie Ressourcen wieder zurück gewonnen werden können.

Diese drei Spalten sind Hauptkategorien, in der Fachsprache auch Supermetriken genannt, die die Administration in die Lage versetzen, zu verstehen wie es in Ihrer virtuellen Umgebung tickt. „Links“ auftretende Ereignisse sind kritisch und bedürfen einer sofortigen Behandlung. „Mittig“ auftretende Ereignisse sind in naher Zukunft ein Problem und bedürfen somit keiner sofortigen Handlung. „Rechts“ auftretende Ereignisse sind das sog. Optimierungspotential, das grundsätzlich langfristig interessiert.

Unter dem Systemzustand ist die Kachel WARNUNGSVOLUMEN. vCOPS zeigt und teilt Alarme in unterschiedliche Schweregrade ein, sollte es ein Problem feststellen. Bei dem beispielhaften System sind viele rote Alarme vorhanden, welche kritisch sind und somit sofortige Aufmerksamkeit verlangen. Die Alarme sind auch rechts an der Seite nochmal dargestellt und somit immer sichtbar. Unten rechts befindet sich eine Übersicht die mit UMGEBUNG bezeichnet ist, die alle von vCOPS überwachten Systeme summiert aufzählt.Das durchgängige Konzept der Dashboard Ansicht erlaubt diese Darstellung für jedes Objekt der Umgebung. Unser Ausgangspunkt war die „WORLD“ d.h. die gesamte Umgebung. Durch weiteres tiefergehendes Klicken auf die Objekte nach „unten“ kann die Umgebung „durchgeklickt“ werden. So wird diese Ansicht für jedes Objekt dargestellt. Wird auf ein Objekt weiter unten geklickt, wird die Dashboard Ansicht nach einem Reload für jeweils dieses Objekt angezeigt.   Der SYSTEMZUSTAND als Wetterkarte

Der SYSTEMZUSTAND bildet quasi die Wetterkarte für das ausgewählte Objekt und alle dazu gehörigen Child-Objekte ab. Wird die Maus über diese Wetterkarte gefahren, so werden weitere Detailinformationen zu dem jeweiligen Objekt angezeigt. In diesem Beispiel ist die LUN mit dem Namen ESX_LAB_LUN1, die einen Systemzustand von 71 und eine Arbeitslast von 52 hat, sowie 16 Anomalien aufweist. Außerdem wird der Systemzustand der Objekte rückwirkend für die letzten 6 Stunden anzeigt. Wird z.B. auf die grau hinterlegte -1 unter der Wetterkarte geklickt, so wird der Systemzustand von vor einer Stunde angezeigt (Bild links). Um weitere detailliertere Informationen zu erhalten, reicht es auf eines der Objekte zu klicken.

Systemzustand

  Wird ein Problem im Bereich SYSTEMZUSTAND festgestellt, so wird auf den Pfeil neben „Warum ist der Systemzustand XX?“ geklickt und Sie erhalten weitere Detailinformationen zu dem ausgewählten System. Das ist der Einstieg in das Troubleshooting. Die Supermetrik SYSTEMZUSTAND ist gelb, sie wird aus den folgenden Metriken bestimmt. Die erste, dieser drei den Systemzustand bestimmenden Kategorien, ist die ARBEITSLAST (engl. WORKLOAD). Im Bereich Performance ist ein Teil die Arbeitslast und diese ermittelt, wie stark das Objekt belastet ist.permetrik SYSTEMZUSTAND ist gelb, sie wird aus den folgenden Metriken bestimmt. Die erste, dieser drei den Systemzustand bestimmenden Kategorien, ist die ARBEITSLAST (engl. WORKLOAD). In diesem Beispiel sind die CPU, sowie die Platten-E/A und der Netzwerk E/A, verhältnismäßig gering belastet, im Vergleich zur Belastung des Arbeitsspeichers. Die nächste Kategorie sind die ANOMALIEN (engl. ANOMALIES), d.h., wie normal bzw. unnormal verhält sich das ausgewählte Objekt. Wir sehen auch den ermittelten Wert von 100, der das sog. Grundrauschen (als Problemschwellenwert ) des Rechenzentrums für dieses Objekt berücksichtigt. Zu guter Letzt liefert die Kategorie FEHLER (engl. FAULTS) die Informationen über Verfügbarkeits- und Konfigurationsprobleme.   Zusammenfassend lässt sich festhalten. Anomalien und Arbeitslast sind mehr in den Bereich der Performance einzuordnen. Fehler hingegen sind Probleme die auf verlorene Redundanzen von Komponenten (Netzwerkkarte, SAN etc.) hinweisen oder einfach ein Konfigurationsproblem vorliegt das umgehend behoben werden sollte.

Risiko

Weiterhin gibt es den Bereich RISIKO. Dieser zeigt in den Unterkategorien weitere Informationen an. Hier werden weitere drei Informationen angezeigt: Verbleibende Zeit, Verbleibende Kapazität und Stress (in der Enterprise Edition zusätzlich noch Compliance). VERBLEIBENDE ZEIT (engl. Time Remaining) gibt an, wie viel Zeit verbleibt, bis alle Ressourcen verbraucht sind. In diesem Beispiel steht bereits kein Speicherplatz und kein Arbeitsspeicher mehr zur Verfügung. Hingegen sind noch für 132 Tage (von heute an gerechnet) CPU-Ressourcen verfügbar und die Kapazität im Bereich Netzwerk, respektive die Platten-E/A ist noch für mehr als 1 Jahr ausreichend. Dies führt jedoch zum Ergebnis, dass noch 0 Tage Ressourcen zur Verfügung stehen und somit zum Status Rot für die verbleibende Zeit. VERBLEIBENDE KAPAZITÄT (engl. Remaining Capacity) zeigt, wie viele VMs bereitgestellt sind und wie viel davon eingeschaltet sind. Hier wird ersichtlich, dass bereits 12 VMs mehr bereitgestellt wurden als Ressourcen zur Verfügung stehen. Der dunkelblaue Balken zeigt, dass die Ressourcen der virtuellen Infrastruktur zu 100% vergeben sind. BELASTUNG (engl. Stress) ist ähnlich wie die im Bereich des Systemzustandes vorhandene Arbeitslast. Der Unterschied ist jedoch in der zeitlichen Perspektive zu finden, d.h., Belastung ist die Arbeitslast über einen längeren Zeitraum. Arbeitslast ist eine aktuelle Aufnahme (jetzt und nicht vor einer Woche) über den Zustand des Objekts. Damit können auch sog. Hotspots erkannt werden, die in den letzten Wochen aufgetreten sind. Weiterhin wird gezeigt, wann diese aufgetreten sind oder auftreten werden.   Dieses Beispiel zeigt einen Hotspot für den kommenden Freitag, gegen 12 Uhr und einen regelmäßig nachts, zwischen 21 und 22 Uhr, auftretenden Hotspot. Damit wird weiterer Ansatz in ein Troubleshooting aufgezeigt.

Effizienz

Der Bereich EFFIZIENZ, wird durch die Unterkategorien „Zurückgewinnbare Verschwendung“ und der „Dichte“ dargestellt. Die Effizienz ist eine Kenngröße, die zurückgewinnbare Ressourcen aufzeigt und somit Kosten einsparen hilft. Dieses Beispiel zeigt auf, dass 97% der Ressourcen verschwendet werden. Welche dies konkret sind, zeigt sich mit den folgenden Metriken. Die Unterkategorie ZURÜCKGEWINNBARE VERSCHWENDUNG (engl. Reclaimable Waiste) zeigt, dass 16% der VMs im Leerlauf sind, 31% ausgeschaltet und 53% überdimensioniert sind. All dies bietet die Möglichkeit Ressourcen zurückzugewinnen und diese anders nutzbar zu machen.   Das Potential beläuft sich in diesem Beispiel auf 29 vCPUs, 1.2 TB Festplattenplatz und fast 74 GB Arbeitsspeicher. Rechnet man das in Physik um, ist dies ein Server mit 2 CPUs, 74 GB RAM und eine kleine Storage Box mit 1.2 TB im Gegenwert von ca. 50.000 Euro. Die Unterkategorie DICHTE (engl. Density) ist ein Wert für die Konsolidierungsrate des Systems und gibt eine Empfehlung in Bezug auf das mögliche Optimum ab. Ist der Wert unter dem optimalen Wert, wie im Beispiel des Verhältnisses von VM pro Host, so können mehr VMs pro Host provisioniert und somit physikalische Server eingespart werden. Dasselbe Bild zeigt weiterhin das Verhältnis von vCPU zu pCPU, dessen Wert auch deutlich unter dem Optimalwert liegt. Für den Arbeitsspeicher gilt entsprechendes.

Zusammenfassung

Die drei Supermetriken SYSTEMZUSTAND, RISIKO und EFFIZIENZ bieten alle Informationen, den aktuellen Zustand der kompletten virtuellen Umgebung mit einem Blick zu erfassen. Der SYSTEMZUSTAND zeigt, ob aktuelle Probleme vorhanden sind und ermöglicht über die Unterkategorien eine weitere Detaillierung und den Einstieg in ein sofortiges Troubleshooting. RISIKO zeigt potentielle Probleme der nächsten Zukunft und EFFIZIENZ informiert über das vorhandene Optimierungspotential. Das Dashboard ist flexibel und zeigt auch individuell die oben besprochenen Werte für jedes Objekt das für vCOPS erreichbar ist. Hier z. B. für eine einzelne VM.           Zusammenfassend lässt sich festhalten, dass VMware vCOPS Performance, Kapazität und Konfigurationsmanagement in einer Oberfläche vereint. Dadurch wird es möglich, zu einem besseren Verständnis für die komplette virtuelle Umgebung zu gelangen. Bereitgestellte Informationen werden in 3 Bereiche, quasi Dringlichkeitsstufen, aufgeteilt. Der Systemzustand zeigt aktuell vorhandene Probleme, Risiko zeigt in der Zukunft auftretende Probleme und Effizienz zeigt das mögliche Optimierungs-Potential der jeweiligen Umgebung. Sollten weitere Fragen zu den dargestellten Informationen oder Produkten haben, so stehen wir gerne für ein Beratungsgespräch zur Verfügung. Natürlich können Sie auch eine vCOPS Lizenz über uns zu einem günstigen Preis einkaufen.