Wieso gebündeltes Monitoring aus einer Hand?
Einsatzgebiete für Data Warehouses sind schon längst nicht mehr nur auf große Unternehmen mit ohnehin vorhandenen Abteilungen zur Überwachung der IT-Infrastruktur beschränkt. Die stark vereinfachte Zugänglichkeit zu Enterprise Management Software, Webportalen zur Abwicklung von Kundengeschäften und die zunehmende Digitalisierung von internen Unternehmensprozessen lassen die Datenberge auch bei Klein- und Mittelbetrieben wachsen. Data Warehouses zum effizienten Umgang mit diesen Daten sind oft die Folge, auch wenn die Überwachung der notwendigen Infrastruktur mitunter ungeklärt bleibt.
Für genau diese Unternehmen bietet sich eine fertige Monitoring-Suite, die speziell auf die Bedürfnisse von Data Warehouses zugeschnitten ist, und einen einfachen und schnellen Überblick über den Status der eigenen DWH-Infrastruktur liefert, an. Sie können damit direkt von der langjährigen Expertise dezidierter Daten-Profis profitieren und Sorgen um das Backbone der eigenen Datenverwaltung hinter sich lassen.
Alpha DWH Monitoring
Das Alpha DWH Monitoring besteht aus 3 zentralen Komponenten: Das sind die (1) Monitoring-Jobs, die auf den zu überwachenden Servern eingerichtet werden. Außerdem die (2) Monitoring-Zentrale, also der Ort, an dem alle Monitoring-Daten gesammelt, archiviert und für das Reporting vorbereitet werden. Und als die sichtbare Schnittstelle für Anwender stellt der (3) Monitoring-Report alle Daten in modernen und übersichtlichen Dashboards direkt zur Analyse zur Verfügung.
Out-of-the-Box werden Ressourcenverbrauch und Fehlermeldungen aufbereitet. Eine Reservierungsverwaltung für erleichterte Planbarkeit ist möglich. Zusätzliche Monitoring-Komponenten und Reports können bei Bedarf und auf Kundenwunsch ergänzt werden.
Dataflow
Entwicklung Alpha DWH Monitoring
Ausgangssituation
Immer mehr Klein- und Mittelbetriebe verfügen über eigene DWHs, wollen jedoch aus vielerlei nachvollziehbaren Gründen keine Ressourcen in den Aufbau eines professionellen Monitorings ihrer Infrastruktur binden. Aber auch größere Unternehmen setzen oft auf den Einsatz fertig entwickelter Standardsoftware. Diese Unternehmen können von einem professionell entwickelten und gut abgestimmten Tool zur Messung von Indikatoren, die speziell für die Infrastruktur in DWH-Systemen relevant sind, profitieren.
Aufgabenstellung
Es ist ein auf DWH Infrastruktur spezialisiertes Monitoring-System zu erstellen. Dieses System umfasst Prozesse zur kontinuierlichen Messung relevanter Indikatoren (Speicherplatzbelegung, RAM-Auslastung, CPU-Auslastung, Fehlerinformationen aus Server Logs), die Speicherung, Aufbereitung und Archivierung dieser Messdaten, und die für Fachuser verständliche Visualisierung in Form von mehreren aufeinander abgestimmten Dashboards im Web.
Ziele
- Identifikation der relevanten Indikatoren / Messpunkte
- Erstellung von Prozessen zur kontinuierlichen Messung dieser Indikatoren
- Erstellung einer Datenbank zur Persistierung dieser Messpunkte
- Erstellung eines Cubes anhand der Messpunkte als Basis für die Reports
- Erstellung eines ETL-Prozesses zur Aufbereitung der Messpunkte in den Cube
- Erstellung der visuellen Reports in Form von mehreren aufeinander abgestimmten Dashboard
Ergebnis
- Prozess zur Messung von relevanten Indikatoren, der am jeweiligen Server installiert werden kann
- Datenbank, Cube und ETL-Prozess zur Datenhaltung und Aufbereitung
- Monitoring Dashboards, die über das Web erreichbar sind
Technologien
Zur Umsetzung der Messprozesse wurden C#-Applikationen entwickelt. Die Datenhaltung und -aufbereitung geschieht auf MSSQL Servern und mittel SSIS-Abläufen. Für das Reporting wurden PowerBI Reports erstellt.
Umgesetzte Funktionalitäten
- Monitoring-Prozesse implementiert
- Archivierung und Cube-Aufbereitung in eigener DB
- Monitoring-Dashboards im Web basierend auf Cube
Bewältigung technischer Herausforderungen
- Auslesen der relevanten Messdaten aus den Systeminformationen
- Zusammenführung der Messdaten in ein konsistentes Datenmodell
- Aufbereitung der historisierten Daten für den Reporting-Cube
- Visuelles Design und Interaktionskonzept des Reports