Zusammenfassung
Unternehmen generieren heute zunehmend große Datenmengen, um ihr Geschäft, ihre Kunden und ihren Markt besser zu verstehen. Ein erhöhtes Datenvolumen allein führt jedoch nicht zu mehr Erfolg. Stattdessen müssen Unternehmen neue Wege finden, um unterschiedliche Datenquellen zu konsolidieren und zu transformieren, um aussagekräftige Erkenntnisse zu gewinnen.
Eine Cloud-basierte Datenanalyse - Plattform (DAP) kann die Vielzahl der Datenquellen innerhalb eines Unternehmens in ein unternehmensweites Analysesystem integrieren. Durch die Vereinheitlichung der notwendigen Datenanalyse-Technologien nimmt ein DAP Rohdaten auf, transformiert sie und verwendet sie für Berichte, Analysen und Visualisierungen - allesamt skalierbar - und hilft so, schnell relevante Erkenntnisse zu gewinnen, die bessere Entscheidungen ermöglichen.
Wie gut und wie schnell Ihr Unternehmen Daten für Sie umsetzen kann, hängt von den Fähigkeiten Ihres DAP ab. In diesem Blogbeitrag skizzieren wir die wichtigsten Grundsätze einer Datenanalyse - Plattform (DAP) und zeigen, wie Ihr Unternehmen Cloud-Technologien einsetzen kann, um eine Lösung zu entwickeln, die einfach zu bedienen ist, die Zeit bis zum Erkennen beschleunigt und Ihre IT-Ausgaben optimiert.
Einführung
Moderne Unternehmen neigen dazu, große Datenmengen zu generieren, um ihr Geschäft besser zu verstehen. Dieses erweiterte Datenvolumen bietet jedoch nicht unbedingt einen unmittelbaren Nutzen. Stattdessen muss ein Unternehmen Wert aus seiner Fähigkeit schöpfen, unterschiedliche Datenquellen zusammenzuführen und in aussagekräftige Erkenntnisse umzuwandeln, die zu einem besseren Verständnis von Markt, Kunden und Geschäftsbetrieb führen.
Um diesen Bedarf zu decken, setzen Unternehmen zunehmend auf Business Intelligence Lösungen wie Data Analytics as a Service (DAaaS), Insight-Plattformen und Analyse Plattformen. Um das Beste aus jeder DAP-Plattform herauszuholen, ist die Cloud der Schlüssel zum Erfolg in dieser datengesteuerten Welt. On-Premise-Datenbanken erfordern Server, die nicht flexibel skalierbar sind, um dem Tempo des wachsenden Datenbedarfs gerecht zu werden. Alternativ bieten Cloud Datenbanken wie Snowflake Computing nahezu unbegrenzte Skalierbarkeit und Speicherplatz und ermöglicht so Größenvorteile, die mit einer Konfiguration vor Ort nicht erreichbar sind.
Dieser Blog-Beitrag beschreibt die wichtigsten Grundsätze einer Datenanalyse - Plattform (DAP) und zeigt, wie Ihr Unternehmen Cloud-Technologien einsetzen kann, um eine zweckmäßige Lösung zu entwickeln, die kosteneffizient und skalierbar ist. Ein DAP kann Ihrem Unternehmen helfen, Rohdaten aufzunehmen, zu transformieren und für Berichte, Analysen und Visualisierungen zu verwenden - allesamt in großem Maßstab -, so dass Ihre Benutzer die Möglichkeit haben, die relevanten Erkenntnisse zu gewinnen, die zu besseren Entscheidungen führen.
Das Problem
In der Vergangenheit waren die Business Intelligence (BI)-Technologien alle in lokalen Rechenzentren untergebracht, in denen lokale Datenquellen in lokale Data Warehouses eingespeist und von lokalen Benutzern berichtet wurden. Das moderne Unternehmen ist über die Grenzen dieses lokalen Modells hinausgewachsen. In der heutigen Welt kann ein Unternehmen von Hunderten verschiedener Systeme abhängen, von denen einige im eigenen Haus sind, die aber immer häufiger als Dienstleistung von Drittanbietern an das Unternehmen geliefert werden. Die Integration dieser Datenvielfalt in ein traditionelles Rechenzentrum stellt eine Herausforderung dar.
Insbesondere ist die Leistung in einem lokalen Rechenzentrum physisch auf die Hardware beschränkt, die bereits vom Unternehmen selbst gekauft, konfiguriert und gewartet wurde. Die Kapazität ist begrenzt und der Kauf von weiteren Einheiten bedeutet, dass Computer- und Speicherressourcen ungenutzt bleiben, bis sie benötigt werden, so dass gekaufte und bezahlte Ressourcen ungenutzt bleiben. Sobald sich die Nachfrage der vorhandenen Kapazität nähert, müssen mehr Ressourcen gekauft werden, und der Zyklus geht weiter. Für Rechenzentren vor Ort ist dieser Zyklus sowohl zeitaufwändig als auch teuer.
Und selbst wenn Unternehmen die Notwendigkeit erkennen, Daten aus externen Quellen intern zu laden, führt die Netzwerkkapazität oft zu Engpässen und verhindert die Übertragung moderner Datenmengen in ein lokales Rechenzentrum. Schließlich erfordert die Vielzahl der heute verwendeten Datenquellen eine Migration durch teure, benutzerdefinierte, codierte Lösungen. Oftmals ist es nicht möglich, diese Datenquellen zurückzulassen, da sie einen kritischen Teil des Bildes für die Gesamtaktivitäten Ihres Unternehmens darstellen.
Anstelle von lokalen Datenbanken beseitigen Cloud-basierte Data Warehouses die physischen Einschränkungen und den Wartungsaufwand mit vollständig verwalteten Lösungen mit nahezu unbegrenzten Speicherfunktionen. Das Problem der Datenkonsolidierung und -aggregation bleibt jedoch bestehen. Unternehmen müssen die Fähigkeit entwickeln, nicht nur alle ihre Daten aus einer Vielzahl von Quellen in ein Cloud-basiertes Data Warehouse zu übertragen, sondern auch diese komplexen, voneinander abhängigen Aktivitäten zu koordinieren. Nach dem Laden müssen die Daten bereinigt, angereichert, aggregiert und anderweitig transformiert werden, um aussagekräftige Erkenntnisse zu gewinnen. Schließlich erfordern die resultierenden Datensätze eine zugängliche Darstellung, damit die von ihnen abhängigen Benutzer die Ergebnisse verstehen und in Entscheidungsprozesse einbeziehen können, was zu besseren Ergebnissen führt.
Die Lösung
Alle oben beschriebenen Herausforderungen sind lösbar. Die Erstellung einer Cloud-basierten Datenanalyse - Plattform (DAP) kann die zuvor beschriebenen Hindernisse beseitigen und nicht nur Ihre Daten-Workflows rationalisieren, sondern auch Ihr Unternehmen in die Lage versetzen, seine komplette End-to-End-Datenanalyse effektiv zu verwalten. Wenn es um Technologien geht, die diese Reise erleichtern, wird die größte Investition Ihres Unternehmens höchstwahrscheinlich das Cloud Data Warehouse sein. Die Fokussierung auf die optimale Nutzung dieses Cloud Data Warehouse sollte von größter Bedeutung sein. Glücklicherweise verfügen viele der branchenführenden Cloud-Data-Warehouses wie Snowflake Computing, Amazon Redshift, und Google BigQuery über umfangreiche Partner-Ökosysteme, die kompatible Lösungen von Drittanbietern bereitstellen, die mit Ihrer bestehenden Cloud-Infrastruktur funktionieren.
Neben der Auswahl eines Cloud Data Warehouse sollten Sie sich auch auf die Auswahl der richtigen Technologien für Ihre Geschäftsanforderungen konzentrieren. Auf diese Weise können Sie eine kostengünstige, aber flexible Plattform schaffen, die am besten für Ihre Geschäftsdaten geeignet ist. Die Verwendung des Begriffs DAP kann dazu beitragen, Ihre Lösung mit Technologien für Analytics, Business Intelligence sowie einem Cloud Data Warehouse (CDW) zusammenzuführen. Durch die Zusammenführung dieser Technologien entsteht ein DAP, das nicht nur Ihren aktuellen Anforderungen entspricht, sondern auch eine erweiterbare Lösung bietet, die an ständig wechselnde und komplexe Anwendungsfälle angepasst und erweitert werden kann. Ein solches Framework ermöglicht es Ihnen beispielsweise, Data Lakes, Data Vaults, Machine Learning und Artificial Intelligence einzubinden, um Ihre Datenanalyse - Fähigkeiten weiter zu verbessern. Agilität ist entscheidend, da solche Plattformen im Laufe der Zeit (nicht über Nacht) entsprechend den dringendsten Geschäftsanforderungen entwickelt werden.
Wie gut und wie schnell Ihr Unternehmen Daten für Sie umsetzen kann, hängt von den Fähigkeiten Ihres DAP ab. Zusätzlich zu den oben genannten Technologien ist eine weitere grundlegende Komponente Ihres DAP die Datenintegration und -transformation. Da Ihr DAP Ihre End-to-End-Datenreise unterstützen soll, muss es in der Lage sein, rohe, vielfältige Datenformulare zu verarbeiten, um sie in saubere Datensätze für Analyse, Business Intelligence und Visualisierung zu verwandeln. Dieses letzte Stück wird oft als ETL-Lösung (Extraktion, Transformation und Laden) bezeichnet, um das Verschieben und Transformieren Ihrer Daten zu unterstützen. ETL-Lösungen unterscheiden sich jedoch in ihrem Ansatz und Umfang, ein Thema, das wir später in diesem Dokument behandeln werden.
Mit der bimanu Cloud, einer All-One-Plattform für die Datenintegration und Analyse können Sie die volle Leistungsfähigkeit eines Cloud Data Warehouse nutzen und Ihre Datenqualität weiter optimieren. Erfahren Sie mehr darüber, wie bimanu Cloud - Kunden ihre Datenkonsolidierung verbessern und die IT-Ausgaben senken können. Jetzt mehr erfahren - bimanu Cloud.
Die Vorteile
Sobald Sie über Ihre Datenanalyse - Plattform Technologien verfügen (Cloud Data Warehouse, ETL-Lösung, Data Visualization Layer, etc.), sind Sie nun bereit, die Vorteile einer solchen Plattform zu nutzen. Hier sind einige dieser Vorteile:
Der Unterschied zwischen einem gemeinsamen Business Intelligence (BI)-Technologie-Stack und einer Datenanalyse-Plattform besteht in erster Linie in der Größenordnung. Wo Erstere ein oder mehrere Quellsysteme in ein Data Warehouse einspeisen und dann darüber berichten können, wird ein DAP verwendet, um eine Verbindung zu Dutzenden oder Hunderten von Datenquellen herzustellen, diese Rohquellen in einen Staging-Bereich für die Datenerfassung zu laden und diese Rohdaten dann in eine beliebige Anzahl von Data Warehouses und Marts zu transformieren. Diese aufbereiteten Daten fließen schließlich in Berichte, Visualisierungen und Analysen für eine Vielzahl von Benutzern ein, von Power-Usern, die ihre eigenen erweiterten, statistischen Rohdatenanalysen durchführen, bis hin zu Endanwendern, die hochverarbeitete Daten für ihre jeweilige Geschäftseinheit mit Excel analysieren. Die daraus resultierenden Analysen fließen schließlich in einen datengesteuerten Entscheidungsprozess ein.
Während das allgemeine Muster hier das gleiche wie bei einem traditionellen BI-System sein kann, ist die Skalierung radikal unterschiedlich. Das DAP stellt einen Komplettanbieter für die Datenbereitstellung eines gesamten Unternehmens dar und bietet eine 360-Grad-Sicht auf die Aktivitäten Ihres Unternehmens. Sie sollten die Erstellung eines DAP in Betracht ziehen, wenn Sie eine hochrangige Sicht auf alle Ihre Unternehmensaktivitäten benötigen und dazu Daten aus zahlreichen Systemen synthetisieren müssen: Marketing, Vertrieb, Finanzen, Logistik, IoT etc. Diese unterschiedlichen Quellen können in völlig unterschiedlichen Formaten verfügbar sein, die aus relationalen Datenbanken, RESTful-APIs oder dateibasierten Artefakten auf verteilten Dateisystemen zugänglich sind. Ein DAP ermöglicht es Ihnen, solche Quellen in einem zentralen und Cloud-basierten Data Warehouse einzubinden, die Daten zu manipulieren, um die Berichtsanforderungen zu erfüllen, und schließlich Unternehmensaktivitäten zu visualisieren und zu analysieren, um die Entscheidungsfindung zu unterstützen.
Unsere bimanu Cloud transformiert automatisch Ihre Daten, um Ihnen ein echtes Self-Services BI zu ermöglichen. Die eingesetzten Konnektoren des bimanu Data Hub helfen Ihnen nicht nur bei der Konsolidierung aller Ihrer Datenquellen (Anwendungen, Data-Lakes, Datenbanken usw.), sondern führen neben Datentransformationen auch eine komplette Datenmodellierung Ihrer Daten vor, um Ihnen bei der Datenvisualisierungs- und Analyse eine bessere Entscheidungsfindung zu ermöglichen.
Anwendungsfall - Sensordaten im Bereich Flottenmanagement
Betrachten Sie als potenziellen DAP-Anwendungsfall ein hypothetisches globales Speditionsunternehmen. Ihre zentralisierte IT-Gruppe, die für die Bereitstellung von der Flottenmanagment-Daten zuständig ist, entscheidet sich für den Aufbau einer Datenanalyse - Plattform, die Hunderte von verschiedenen Datenquellen in Form der Sensorik und eine Vielzahl von Benutzeranforderungen abdeckt. Mit dem DAP können sie auf dutzende von lokalen Rechenzentren verzichten, die eigenwillige, einmalige Prozesse zugunsten ihres Cloud Data Warehouse hosten, was dem Unternehmen grenzenlose Skalierbarkeit sowie eine konsistente, effiziente und unternehmensweite Sicht auf die Daten ermöglicht.
Das ultimative Ziel dieser Plattform ist es, datengesteuerte Entscheidungen zu treffen. In diesem Fall, wo und wann die Wartung durchgeführt werden muss und welche Teile dafür benötigt werden. Das DAP deckt die Anforderungen des gesamten Unternehmens an die Datenanalyse ab und bietet automatisierte Client-Leistungen sowie Live-Dashboards, die aus einem Cloud-basierten, kanalübergreifenden Repository stammen, das auch datenwissenschaftliche Modelle und Simulationen unterstützt.
Mit Benutzeranforderungen, die von Rohdaten bis hin zu Dashboard-Berichten reichen, entscheidet sich die Geschäftsführung für die bimanu Cloud mit den Komponenten bimanu Hub, bimanu Analytics und bimanu Datawarehouse. Die einfache Skalierbarkeit des bimanu Datawarehouse basierend auf Snowflake Computing macht es zu einer bevorzugten Option zusammen mit seinen MPP-Funktionen (Massively Parallel Processing) und für die Verarbeitung großer Datenmengen. Zusätzlich zu den Leistungsvorteilen bietet die bimanu Cloud ein Pay-as-you-go-Modell an, um die Notwendigkeit des Erwerbs ungenutzter Kapazitäten zu verringern, sobald eine grundlegende und kosteneffektive Barriere die Schaffung solcher Plattformen in lokalen Rechenzentren verhindert.
Um ihre hunderte von unzähligen Quellsystemen in die bimanu Cloud zu integrieren, wählt das Speditionsunternehmen zusätzlich das Modul bimanu Hub wegen seiner einfachen Entwicklung und der zahlreichen, sofort einsatzbereiten Konnektoren für Quellsysteme. Der bimanu Hub verwendet eine automatisierte Extraktions-, Last- und Transformationsarchitektur (ELT), die das bimanu Datawarehouse optimal nutzt, indem sie die nahezu unendlichen Ressourcen der CDW auf die Last- und Transformationsprozesse anwendet.
Die Analyse- und Visualisierungsschicht in diesem DAP - Beispiel verwendet bimanu Analytics eine modifizierte Tableau Online Umgebung für sein einfaches Dashboarding und seine Ad-hoc-Berichtsfunktionen. Power-User wie Data Scientists können ihre Daten direkt aus dem bimanu Data Model über Python oder R beziehen und müssen nicht mehr die Rohdaten verwenden. Benutzer können im Self-Service BI Ansatz Ihre Analyse oder Dashboards erstellen, wodurch ein Single Point of True entsteht und die historisch mit dieser Praxis verbundene Datensilos vermieden werden.
Wie man eine Datenanalyse-Plattform erstelltDie Technologien
Analytics: Die letzte Schicht in einem DAP ist für die Datenanalyse und -visualisierung verantwortlich. Diese Ebene bietet Ihren Analysten qualitativ hochwertige Informationen über die Aktivitäten Ihres Unternehmens und ermöglicht es Ihren Führungskräften, optimale, datengesteuerte Entscheidungen zu treffen. Moderne Tools bieten Schnittstellen für Ad-hoc-Analysen sowie Business Intelligence-Berichte oder Story Telling Optionen. Solche Tools nutzen die Daten, die in Ihrem Cloud Data Warehouse von Ihrer Datentransformationslösung transformiert und klassifiziert und aus vorgelagerten Quellsystemen extrahiert werden.
Business Intelligence: Manchmal kann Ihre Business Intelligence-Technologie mit Ihren Analyse- oder Visualisierungstechnologien oder sogar mit beiden identisch sein. Sie haben die Möglichkeit, Daten zu verwenden, um Geschäftseinblicke und -entscheidungen zu formulieren, sei es Data Mining, Dashboards, Erstellen von Berichten oder Erstellen von Visualisierungen. Looker, Tableau, SAP Anayltics Cloud sowie PowerBI sind beliebte Optionen.
Cloud Data Warehouse: sind Cloud-native Datenbankplattformen, die speziell für einfache (und sogar automatisierte) Skalierbarkeit sowie massiv parallele Verarbeitungsmöglichkeiten entwickelt wurden. Diese Plattformen sind oft spaltenorientiert für optimierte I/O-Operationen und bieten nahezu unbegrenzte Rechen- und Speicherfunktionen. Moderne Cloud-Datenbanken umfassen Amazon Redshift, Google BigQuery und Snowflake.
Datenintegration und -transformation: Um ein DAP zu erstellen, muss Ihr Unternehmen eine Vielzahl von relationalen, strukturierten und halbstrukturierten Datenquellen integrieren. Diese Datenquellen müssen manipuliert und in ein einheitliches Format umgewandelt werden, das nachgelagerte Analysen und Visualisierungen unterstützt. Eine Cloud-native Datentransformationslösung ermöglicht Hochgeschwindigkeitsverbindungen zwischen Ihrem Unternehmen und anderen Cloud-basierten Datenquellen. Diese sogenannte ETL Werkzeuge wie z.B. Matillion helfen Ihnen, Daten aus Ihren lokalen oder Cloud-basierten Anwendungen zu extrahieren, diese Daten in ein Cloud Data Warehouse zu verschieben und dann Daten in die für Ihre BI- und Analysetools erforderlichen einheitlichen Formate zu transformieren.
Unsere bimanu Cloud bietet die Möglichkeit, Ihre Geschäftsdaten in das richtige Auswerte- und Analyseformat zu bringen. Wir konsolidieren Ihre Daten aus Quellsystemen, Data-Lakes, lokalen Datenbanken und anderen Cloud-Data-Warehouses für erweiterte Analysen mithilfe unserer vorkonfigurierten Konnektoren des bimanu Data Hubs. Weitere Funktionen zur Sicherstellung Ihrer Datenqualität und Integrität sind:
Die Architektur
DAPs kombinieren komplementäre Technologien, um ein einheitliches System zu schaffen:
Schließlich können diese leistungsfähigeren Datenarchitekturen dann von der Visualisierungsschicht des DAP genutzt werden, um Endanwendern (wie Analysten oder Führungskräften) Einblicke in unternehmensweite Aktivitäten zu geben, die die bestmögliche Entscheidungsfindung ermöglichen.
Im Folgenden wird auf jede dieser DAP-Komponenten nacheinander eingegangen, beginnend mit verschiedenen Datenquellen, einer Integrations- und Transformationsschicht, einem Cloud Data Warehouse und der Visualisierungs- und Analyseschicht.
Datenquellen
Die folgenden Punkte stellen einige gängige Datenquellen in heutigen Unternehmensumgebungen dar:
Typischerweise läuft ETL-Software auf leistungsstarken dedizierten Servern mit beträchtlichen Rechen-, Speicher- und Speicherressourcen, um sowohl Platz für Extrakte aus entfernten Quellsystemen zu schaffen als auch diese Extrakte in das für den Anwendungsfall erforderliche Format zu transformieren. Nach der Transformation werden die Ergebnisse in das Ziel geladen. Wie bereits erwähnt, ist die Skalierung dedizierter physischer Hardware eine zeitaufwändige und kostspielige Angelegenheit; dasselbe gilt für die ETL-Infrastruktur, die bei Betrieb außerhalb der Kapazität erhebliche Leistungsengpässe verursacht.
Um das Risiko einer schlechten Hardwareleistung und die Kosten für die Modernisierung der ETL-Infrastruktur zu vermeiden, wenden immer mehr Fachleute einen ELT-Ansatz (Extract, Load, Transformation) an, bei dem die übliche Reihenfolge der Ereignisse umgekehrt wird, so dass Daten zuerst extrahiert und geladen und dann innerhalb der CDW transformiert werden. Lösungen, die eine ELT-Methode aufrufen, weisen die CDW an, ihre skalierbaren und massiv parallelen Verarbeitungsmöglichkeiten zu nutzen, um Ihre Daten in den Cluster zu laden, und transformieren sie dann in die von Ihnen angegebene Form, sobald diese Ladung abgeschlossen ist. Geringe Rechenleistungen reichen aus, um diese Anweisungen zu generieren und ermöglichen es Ihnen, die Investitionen, die Sie bereits in Ihre Cloud-Data-Warehouse-Plattform getätigt haben, die diewährend des ELT-Prozesses erforderlichen schweren Arbeiten übernimmt, zu nutzen.
Der ELT-Ansatz wäre ohne die in CDW-Plattformen integrierte Skalierbarkeit nicht möglich, die die für diesen Betrieb erforderlichen Ressourcen bereitstellt und es Business Intelligence-Organisationen ermöglicht, auf das kostspieligere und weniger flexible ETL-Muster zu verzichten. Außerdem ist ETL-Software extrem teuer in der Lizenzierung. Diese Lizenzen erfordern oft zusätzliche Gebühren für höhere Datenmengen und noch mehr für Konnektor-Add-ons, die Ihnen Zugriff auf die Quellsysteme geben, die Sie in Ihr Lager laden müssen. Der ELT-Ansatz bietet echte Vorteile, so dass Ihr Unternehmen seine Integrations- und Transformations-Workloads auf die für es am besten geeignete Plattform, nämlich die CDW, übertragen kann.
Die Cloud-native Architektur von bimanu Cloud nutzt die praktisch unendlichen Speicher- und Rechenressourcen, die in modernen Cloud-Data-Warehouse-Plattformen integriert sind. Durch den Einsatz von bimanu Cloud Sie in der Lage, mit Ihren Datenanforderungen schnell zu skalieren, indem Sie die Vorteile der Leistung und Funktionen der Cloud nutzen.
Visualisierung und Analyse
Die letzte Komponente im DAP ist eine Visualisierungs- und Analyseschicht. Diese Schicht bietet sowohl formale als auch Ad-hoc-Berichtsfunktionen auf der Grundlage der endgültigen, transformierten Daten, die wir aus unseren Quellsystemen extrahiert und mit anderen Datenelementen angereichert haben, um verwertbare Business Intelligence zu erstellen. Die daraus resultierenden Visualisierungen und Analysen dienen dem datengesteuerten Entscheidungsprozess, helfen bei besseren Entscheidungen und generieren letztlich Wettbewerbsvorteile.
Tools wie Tableau, Looker, SAP Analytics Cloud und MS Power BI bieten derzeit erstklassige Visualisierungs- und Reporting-Suiten. Solche Pakete geben Ihrem Unternehmen interaktive Berichts- und Dashboarding-Funktionen, die Einblicke elegant darstellen, die nicht leicht aus Tabellenkalkulationen allein gewonnen werden können. Ihre GUIs sind sowohl einfach genug, um schnell aussagekräftige Informationen zu produzieren, als auch reich genug, um Power-Usern alle erweiterten Funktionen zu bieten, die sie benötigen. Darüber hinaus unterstützen diese Tools CDWs, so dass Ihr Unternehmen diese flexiblen, skalierbaren und cloud-nativen Komponenten in einem erweiterbaren DAP-Framework kombinieren kann.
Unsere bimanu Analytics Umgebung wird zur Visualisierung im Self Service - BI Ansatz eingesetzt. Zur Administration der Anwender und effektiven Dashboard Erstellung setzen wir auf auf eine modifizierte Tableau Online Umgebung.
Düsseldorf, 16.05.2019 - Swen Göllner
Unternehmen generieren heute zunehmend große Datenmengen, um ihr Geschäft, ihre Kunden und ihren Markt besser zu verstehen. Ein erhöhtes Datenvolumen allein führt jedoch nicht zu mehr Erfolg. Stattdessen müssen Unternehmen neue Wege finden, um unterschiedliche Datenquellen zu konsolidieren und zu transformieren, um aussagekräftige Erkenntnisse zu gewinnen.
Eine Cloud-basierte Datenanalyse - Plattform (DAP) kann die Vielzahl der Datenquellen innerhalb eines Unternehmens in ein unternehmensweites Analysesystem integrieren. Durch die Vereinheitlichung der notwendigen Datenanalyse-Technologien nimmt ein DAP Rohdaten auf, transformiert sie und verwendet sie für Berichte, Analysen und Visualisierungen - allesamt skalierbar - und hilft so, schnell relevante Erkenntnisse zu gewinnen, die bessere Entscheidungen ermöglichen.
Wie gut und wie schnell Ihr Unternehmen Daten für Sie umsetzen kann, hängt von den Fähigkeiten Ihres DAP ab. In diesem Blogbeitrag skizzieren wir die wichtigsten Grundsätze einer Datenanalyse - Plattform (DAP) und zeigen, wie Ihr Unternehmen Cloud-Technologien einsetzen kann, um eine Lösung zu entwickeln, die einfach zu bedienen ist, die Zeit bis zum Erkennen beschleunigt und Ihre IT-Ausgaben optimiert.
Einführung
Moderne Unternehmen neigen dazu, große Datenmengen zu generieren, um ihr Geschäft besser zu verstehen. Dieses erweiterte Datenvolumen bietet jedoch nicht unbedingt einen unmittelbaren Nutzen. Stattdessen muss ein Unternehmen Wert aus seiner Fähigkeit schöpfen, unterschiedliche Datenquellen zusammenzuführen und in aussagekräftige Erkenntnisse umzuwandeln, die zu einem besseren Verständnis von Markt, Kunden und Geschäftsbetrieb führen.
Um diesen Bedarf zu decken, setzen Unternehmen zunehmend auf Business Intelligence Lösungen wie Data Analytics as a Service (DAaaS), Insight-Plattformen und Analyse Plattformen. Um das Beste aus jeder DAP-Plattform herauszuholen, ist die Cloud der Schlüssel zum Erfolg in dieser datengesteuerten Welt. On-Premise-Datenbanken erfordern Server, die nicht flexibel skalierbar sind, um dem Tempo des wachsenden Datenbedarfs gerecht zu werden. Alternativ bieten Cloud Datenbanken wie Snowflake Computing nahezu unbegrenzte Skalierbarkeit und Speicherplatz und ermöglicht so Größenvorteile, die mit einer Konfiguration vor Ort nicht erreichbar sind.
Dieser Blog-Beitrag beschreibt die wichtigsten Grundsätze einer Datenanalyse - Plattform (DAP) und zeigt, wie Ihr Unternehmen Cloud-Technologien einsetzen kann, um eine zweckmäßige Lösung zu entwickeln, die kosteneffizient und skalierbar ist. Ein DAP kann Ihrem Unternehmen helfen, Rohdaten aufzunehmen, zu transformieren und für Berichte, Analysen und Visualisierungen zu verwenden - allesamt in großem Maßstab -, so dass Ihre Benutzer die Möglichkeit haben, die relevanten Erkenntnisse zu gewinnen, die zu besseren Entscheidungen führen.
Das Problem
In der Vergangenheit waren die Business Intelligence (BI)-Technologien alle in lokalen Rechenzentren untergebracht, in denen lokale Datenquellen in lokale Data Warehouses eingespeist und von lokalen Benutzern berichtet wurden. Das moderne Unternehmen ist über die Grenzen dieses lokalen Modells hinausgewachsen. In der heutigen Welt kann ein Unternehmen von Hunderten verschiedener Systeme abhängen, von denen einige im eigenen Haus sind, die aber immer häufiger als Dienstleistung von Drittanbietern an das Unternehmen geliefert werden. Die Integration dieser Datenvielfalt in ein traditionelles Rechenzentrum stellt eine Herausforderung dar.
Insbesondere ist die Leistung in einem lokalen Rechenzentrum physisch auf die Hardware beschränkt, die bereits vom Unternehmen selbst gekauft, konfiguriert und gewartet wurde. Die Kapazität ist begrenzt und der Kauf von weiteren Einheiten bedeutet, dass Computer- und Speicherressourcen ungenutzt bleiben, bis sie benötigt werden, so dass gekaufte und bezahlte Ressourcen ungenutzt bleiben. Sobald sich die Nachfrage der vorhandenen Kapazität nähert, müssen mehr Ressourcen gekauft werden, und der Zyklus geht weiter. Für Rechenzentren vor Ort ist dieser Zyklus sowohl zeitaufwändig als auch teuer.
Und selbst wenn Unternehmen die Notwendigkeit erkennen, Daten aus externen Quellen intern zu laden, führt die Netzwerkkapazität oft zu Engpässen und verhindert die Übertragung moderner Datenmengen in ein lokales Rechenzentrum. Schließlich erfordert die Vielzahl der heute verwendeten Datenquellen eine Migration durch teure, benutzerdefinierte, codierte Lösungen. Oftmals ist es nicht möglich, diese Datenquellen zurückzulassen, da sie einen kritischen Teil des Bildes für die Gesamtaktivitäten Ihres Unternehmens darstellen.
Anstelle von lokalen Datenbanken beseitigen Cloud-basierte Data Warehouses die physischen Einschränkungen und den Wartungsaufwand mit vollständig verwalteten Lösungen mit nahezu unbegrenzten Speicherfunktionen. Das Problem der Datenkonsolidierung und -aggregation bleibt jedoch bestehen. Unternehmen müssen die Fähigkeit entwickeln, nicht nur alle ihre Daten aus einer Vielzahl von Quellen in ein Cloud-basiertes Data Warehouse zu übertragen, sondern auch diese komplexen, voneinander abhängigen Aktivitäten zu koordinieren. Nach dem Laden müssen die Daten bereinigt, angereichert, aggregiert und anderweitig transformiert werden, um aussagekräftige Erkenntnisse zu gewinnen. Schließlich erfordern die resultierenden Datensätze eine zugängliche Darstellung, damit die von ihnen abhängigen Benutzer die Ergebnisse verstehen und in Entscheidungsprozesse einbeziehen können, was zu besseren Ergebnissen führt.
Die Lösung
Alle oben beschriebenen Herausforderungen sind lösbar. Die Erstellung einer Cloud-basierten Datenanalyse - Plattform (DAP) kann die zuvor beschriebenen Hindernisse beseitigen und nicht nur Ihre Daten-Workflows rationalisieren, sondern auch Ihr Unternehmen in die Lage versetzen, seine komplette End-to-End-Datenanalyse effektiv zu verwalten. Wenn es um Technologien geht, die diese Reise erleichtern, wird die größte Investition Ihres Unternehmens höchstwahrscheinlich das Cloud Data Warehouse sein. Die Fokussierung auf die optimale Nutzung dieses Cloud Data Warehouse sollte von größter Bedeutung sein. Glücklicherweise verfügen viele der branchenführenden Cloud-Data-Warehouses wie Snowflake Computing, Amazon Redshift, und Google BigQuery über umfangreiche Partner-Ökosysteme, die kompatible Lösungen von Drittanbietern bereitstellen, die mit Ihrer bestehenden Cloud-Infrastruktur funktionieren.
Neben der Auswahl eines Cloud Data Warehouse sollten Sie sich auch auf die Auswahl der richtigen Technologien für Ihre Geschäftsanforderungen konzentrieren. Auf diese Weise können Sie eine kostengünstige, aber flexible Plattform schaffen, die am besten für Ihre Geschäftsdaten geeignet ist. Die Verwendung des Begriffs DAP kann dazu beitragen, Ihre Lösung mit Technologien für Analytics, Business Intelligence sowie einem Cloud Data Warehouse (CDW) zusammenzuführen. Durch die Zusammenführung dieser Technologien entsteht ein DAP, das nicht nur Ihren aktuellen Anforderungen entspricht, sondern auch eine erweiterbare Lösung bietet, die an ständig wechselnde und komplexe Anwendungsfälle angepasst und erweitert werden kann. Ein solches Framework ermöglicht es Ihnen beispielsweise, Data Lakes, Data Vaults, Machine Learning und Artificial Intelligence einzubinden, um Ihre Datenanalyse - Fähigkeiten weiter zu verbessern. Agilität ist entscheidend, da solche Plattformen im Laufe der Zeit (nicht über Nacht) entsprechend den dringendsten Geschäftsanforderungen entwickelt werden.
Wie gut und wie schnell Ihr Unternehmen Daten für Sie umsetzen kann, hängt von den Fähigkeiten Ihres DAP ab. Zusätzlich zu den oben genannten Technologien ist eine weitere grundlegende Komponente Ihres DAP die Datenintegration und -transformation. Da Ihr DAP Ihre End-to-End-Datenreise unterstützen soll, muss es in der Lage sein, rohe, vielfältige Datenformulare zu verarbeiten, um sie in saubere Datensätze für Analyse, Business Intelligence und Visualisierung zu verwandeln. Dieses letzte Stück wird oft als ETL-Lösung (Extraktion, Transformation und Laden) bezeichnet, um das Verschieben und Transformieren Ihrer Daten zu unterstützen. ETL-Lösungen unterscheiden sich jedoch in ihrem Ansatz und Umfang, ein Thema, das wir später in diesem Dokument behandeln werden.
Mit der bimanu Cloud, einer All-One-Plattform für die Datenintegration und Analyse können Sie die volle Leistungsfähigkeit eines Cloud Data Warehouse nutzen und Ihre Datenqualität weiter optimieren. Erfahren Sie mehr darüber, wie bimanu Cloud - Kunden ihre Datenkonsolidierung verbessern und die IT-Ausgaben senken können. Jetzt mehr erfahren - bimanu Cloud.
Die Vorteile
Sobald Sie über Ihre Datenanalyse - Plattform Technologien verfügen (Cloud Data Warehouse, ETL-Lösung, Data Visualization Layer, etc.), sind Sie nun bereit, die Vorteile einer solchen Plattform zu nutzen. Hier sind einige dieser Vorteile:
- Erweiterbarkeit: Integration neuer Technologien und anpassungsfähiger Komponenten zur Vereinfachung der Abläufe die Datenreise Ihres Unternehmens
- Einfachheit: Vereinfachen Sie Ihre Datenreise mit flexiblen Technologien, die auf mehrere Anwendungsfälle angewendet und skaliert werden können.
- Performance: Cloud-Technologien mit intuitiver Benutzerführung verkürzen die Entwicklungszeit und beschleunigen die Veröffentlichung von verwertbaren Analysen über die manuelle Programmierung hinaus.
- Agilität: Wenn Sie aus Ihren Daten und Entwicklungen lernen, können Sie Muster adaptiv Komponenten zur Plattform hinzufügen und schrittweise neue Datenquellen, Transformationen und Analysen integrieren.
- Skalierbarkeit: Unabhängig davon, ob es sich um eine Handvoll oder Hunderte von Datenquellen handelt, kann ein DAP Ihre aktuellen und zukünftigen Anforderungen erfüllen, indem es eine Skalierbare-Lösung für Datenanalysen bietet.
Der Unterschied zwischen einem gemeinsamen Business Intelligence (BI)-Technologie-Stack und einer Datenanalyse-Plattform besteht in erster Linie in der Größenordnung. Wo Erstere ein oder mehrere Quellsysteme in ein Data Warehouse einspeisen und dann darüber berichten können, wird ein DAP verwendet, um eine Verbindung zu Dutzenden oder Hunderten von Datenquellen herzustellen, diese Rohquellen in einen Staging-Bereich für die Datenerfassung zu laden und diese Rohdaten dann in eine beliebige Anzahl von Data Warehouses und Marts zu transformieren. Diese aufbereiteten Daten fließen schließlich in Berichte, Visualisierungen und Analysen für eine Vielzahl von Benutzern ein, von Power-Usern, die ihre eigenen erweiterten, statistischen Rohdatenanalysen durchführen, bis hin zu Endanwendern, die hochverarbeitete Daten für ihre jeweilige Geschäftseinheit mit Excel analysieren. Die daraus resultierenden Analysen fließen schließlich in einen datengesteuerten Entscheidungsprozess ein.
Während das allgemeine Muster hier das gleiche wie bei einem traditionellen BI-System sein kann, ist die Skalierung radikal unterschiedlich. Das DAP stellt einen Komplettanbieter für die Datenbereitstellung eines gesamten Unternehmens dar und bietet eine 360-Grad-Sicht auf die Aktivitäten Ihres Unternehmens. Sie sollten die Erstellung eines DAP in Betracht ziehen, wenn Sie eine hochrangige Sicht auf alle Ihre Unternehmensaktivitäten benötigen und dazu Daten aus zahlreichen Systemen synthetisieren müssen: Marketing, Vertrieb, Finanzen, Logistik, IoT etc. Diese unterschiedlichen Quellen können in völlig unterschiedlichen Formaten verfügbar sein, die aus relationalen Datenbanken, RESTful-APIs oder dateibasierten Artefakten auf verteilten Dateisystemen zugänglich sind. Ein DAP ermöglicht es Ihnen, solche Quellen in einem zentralen und Cloud-basierten Data Warehouse einzubinden, die Daten zu manipulieren, um die Berichtsanforderungen zu erfüllen, und schließlich Unternehmensaktivitäten zu visualisieren und zu analysieren, um die Entscheidungsfindung zu unterstützen.
Unsere bimanu Cloud transformiert automatisch Ihre Daten, um Ihnen ein echtes Self-Services BI zu ermöglichen. Die eingesetzten Konnektoren des bimanu Data Hub helfen Ihnen nicht nur bei der Konsolidierung aller Ihrer Datenquellen (Anwendungen, Data-Lakes, Datenbanken usw.), sondern führen neben Datentransformationen auch eine komplette Datenmodellierung Ihrer Daten vor, um Ihnen bei der Datenvisualisierungs- und Analyse eine bessere Entscheidungsfindung zu ermöglichen.
Anwendungsfall - Sensordaten im Bereich Flottenmanagement
Betrachten Sie als potenziellen DAP-Anwendungsfall ein hypothetisches globales Speditionsunternehmen. Ihre zentralisierte IT-Gruppe, die für die Bereitstellung von der Flottenmanagment-Daten zuständig ist, entscheidet sich für den Aufbau einer Datenanalyse - Plattform, die Hunderte von verschiedenen Datenquellen in Form der Sensorik und eine Vielzahl von Benutzeranforderungen abdeckt. Mit dem DAP können sie auf dutzende von lokalen Rechenzentren verzichten, die eigenwillige, einmalige Prozesse zugunsten ihres Cloud Data Warehouse hosten, was dem Unternehmen grenzenlose Skalierbarkeit sowie eine konsistente, effiziente und unternehmensweite Sicht auf die Daten ermöglicht.
Das ultimative Ziel dieser Plattform ist es, datengesteuerte Entscheidungen zu treffen. In diesem Fall, wo und wann die Wartung durchgeführt werden muss und welche Teile dafür benötigt werden. Das DAP deckt die Anforderungen des gesamten Unternehmens an die Datenanalyse ab und bietet automatisierte Client-Leistungen sowie Live-Dashboards, die aus einem Cloud-basierten, kanalübergreifenden Repository stammen, das auch datenwissenschaftliche Modelle und Simulationen unterstützt.
Mit Benutzeranforderungen, die von Rohdaten bis hin zu Dashboard-Berichten reichen, entscheidet sich die Geschäftsführung für die bimanu Cloud mit den Komponenten bimanu Hub, bimanu Analytics und bimanu Datawarehouse. Die einfache Skalierbarkeit des bimanu Datawarehouse basierend auf Snowflake Computing macht es zu einer bevorzugten Option zusammen mit seinen MPP-Funktionen (Massively Parallel Processing) und für die Verarbeitung großer Datenmengen. Zusätzlich zu den Leistungsvorteilen bietet die bimanu Cloud ein Pay-as-you-go-Modell an, um die Notwendigkeit des Erwerbs ungenutzter Kapazitäten zu verringern, sobald eine grundlegende und kosteneffektive Barriere die Schaffung solcher Plattformen in lokalen Rechenzentren verhindert.
Um ihre hunderte von unzähligen Quellsystemen in die bimanu Cloud zu integrieren, wählt das Speditionsunternehmen zusätzlich das Modul bimanu Hub wegen seiner einfachen Entwicklung und der zahlreichen, sofort einsatzbereiten Konnektoren für Quellsysteme. Der bimanu Hub verwendet eine automatisierte Extraktions-, Last- und Transformationsarchitektur (ELT), die das bimanu Datawarehouse optimal nutzt, indem sie die nahezu unendlichen Ressourcen der CDW auf die Last- und Transformationsprozesse anwendet.
Die Analyse- und Visualisierungsschicht in diesem DAP - Beispiel verwendet bimanu Analytics eine modifizierte Tableau Online Umgebung für sein einfaches Dashboarding und seine Ad-hoc-Berichtsfunktionen. Power-User wie Data Scientists können ihre Daten direkt aus dem bimanu Data Model über Python oder R beziehen und müssen nicht mehr die Rohdaten verwenden. Benutzer können im Self-Service BI Ansatz Ihre Analyse oder Dashboards erstellen, wodurch ein Single Point of True entsteht und die historisch mit dieser Praxis verbundene Datensilos vermieden werden.
Wie man eine Datenanalyse-Plattform erstelltDie Technologien
Analytics: Die letzte Schicht in einem DAP ist für die Datenanalyse und -visualisierung verantwortlich. Diese Ebene bietet Ihren Analysten qualitativ hochwertige Informationen über die Aktivitäten Ihres Unternehmens und ermöglicht es Ihren Führungskräften, optimale, datengesteuerte Entscheidungen zu treffen. Moderne Tools bieten Schnittstellen für Ad-hoc-Analysen sowie Business Intelligence-Berichte oder Story Telling Optionen. Solche Tools nutzen die Daten, die in Ihrem Cloud Data Warehouse von Ihrer Datentransformationslösung transformiert und klassifiziert und aus vorgelagerten Quellsystemen extrahiert werden.
Business Intelligence: Manchmal kann Ihre Business Intelligence-Technologie mit Ihren Analyse- oder Visualisierungstechnologien oder sogar mit beiden identisch sein. Sie haben die Möglichkeit, Daten zu verwenden, um Geschäftseinblicke und -entscheidungen zu formulieren, sei es Data Mining, Dashboards, Erstellen von Berichten oder Erstellen von Visualisierungen. Looker, Tableau, SAP Anayltics Cloud sowie PowerBI sind beliebte Optionen.
Cloud Data Warehouse: sind Cloud-native Datenbankplattformen, die speziell für einfache (und sogar automatisierte) Skalierbarkeit sowie massiv parallele Verarbeitungsmöglichkeiten entwickelt wurden. Diese Plattformen sind oft spaltenorientiert für optimierte I/O-Operationen und bieten nahezu unbegrenzte Rechen- und Speicherfunktionen. Moderne Cloud-Datenbanken umfassen Amazon Redshift, Google BigQuery und Snowflake.
Datenintegration und -transformation: Um ein DAP zu erstellen, muss Ihr Unternehmen eine Vielzahl von relationalen, strukturierten und halbstrukturierten Datenquellen integrieren. Diese Datenquellen müssen manipuliert und in ein einheitliches Format umgewandelt werden, das nachgelagerte Analysen und Visualisierungen unterstützt. Eine Cloud-native Datentransformationslösung ermöglicht Hochgeschwindigkeitsverbindungen zwischen Ihrem Unternehmen und anderen Cloud-basierten Datenquellen. Diese sogenannte ETL Werkzeuge wie z.B. Matillion helfen Ihnen, Daten aus Ihren lokalen oder Cloud-basierten Anwendungen zu extrahieren, diese Daten in ein Cloud Data Warehouse zu verschieben und dann Daten in die für Ihre BI- und Analysetools erforderlichen einheitlichen Formate zu transformieren.
Unsere bimanu Cloud bietet die Möglichkeit, Ihre Geschäftsdaten in das richtige Auswerte- und Analyseformat zu bringen. Wir konsolidieren Ihre Daten aus Quellsystemen, Data-Lakes, lokalen Datenbanken und anderen Cloud-Data-Warehouses für erweiterte Analysen mithilfe unserer vorkonfigurierten Konnektoren des bimanu Data Hubs. Weitere Funktionen zur Sicherstellung Ihrer Datenqualität und Integrität sind:
- Automatisierte, wiederverwendbare Datenströme
- Datenermittlung & -aufbereitung
- Aufbau & Integration von Datenmodellen
- Bereitstellung eines einheitlichen Metadatenkatalogs
- Überwachung & Verteilung von Daten in Echtzeit oder Batch
Die Architektur
DAPs kombinieren komplementäre Technologien, um ein einheitliches System zu schaffen:
- Nimmt Daten aus einer Vielzahl von Quellen wie Datenspeicher, Datenbanken, APIs und Dateien mit einer Vielzahl von Formaten auf.
- Transformieren Sie die am weitesten fortgeschrittenen Daten, indem Sie sie mit anderen Datenquellen verknüpfen, reinigen, aggregieren oder anderweitig manipulieren - Visualisieren Sie die transformierten Daten abschnittsweise an den Dashboards oder Berichten.
- Bilden Sie die Grundlage für die Durchführung fundierter Geschäftsentscheidungen.
Schließlich können diese leistungsfähigeren Datenarchitekturen dann von der Visualisierungsschicht des DAP genutzt werden, um Endanwendern (wie Analysten oder Führungskräften) Einblicke in unternehmensweite Aktivitäten zu geben, die die bestmögliche Entscheidungsfindung ermöglichen.
Im Folgenden wird auf jede dieser DAP-Komponenten nacheinander eingegangen, beginnend mit verschiedenen Datenquellen, einer Integrations- und Transformationsschicht, einem Cloud Data Warehouse und der Visualisierungs- und Analyseschicht.
Datenquellen
Die folgenden Punkte stellen einige gängige Datenquellen in heutigen Unternehmensumgebungen dar:
- On-Premise - Datenbanken: Viele Unternehmen haben Schwierigkeiten, den Übergang vollständig auf Cloud-Plattformen zu vollziehen und Datenbanken immer noch in lokalen Rechenzentren zu pflegen. Glücklicherweise sind inkrementelle, hybride Ansätze durchaus möglich, die es Ihnen ermöglichen, bestehende Datenbanken lokal weiterzuführen, während Sie ihre kritischen Datenelemente strategisch extrahieren und in eine CDW laden.
- Data Lakes: Definiert durch die Speicherung von Dateien in nativen Formaten, flexiblen Zugriff, Schema-on-Read sowie die Entkopplung von Storage und Compute-Ressourcen, stellen Data Lake-Architekturen immer mehr gemeinsame Repositorien für Unternehmensaktivitäten dar. Cloud-fähige Speicherplattformen wie AWS S3, Azure Blob Storage und Google Cloud Platform Cloud Storage bilden bei nahezu unbegrenzter Erweiterbarkeit oft die Persistenzschicht des Data-Lakes. Das Laden von Dateien in die CDW Ihres Unternehmens von diesen Plattformen aus stellt eine äußerst wichtige Funktionalität dar.
- Teilstrukturierte Daten: In Bezug auf Datenseen, die oft aus halbstrukturierten Dateien bestehen, benötigen moderne DAPs oft die Möglichkeit, XML-, JSON- oder sogar Tabellenkalkulationsdateien zu laden.
- APIs: Anwendungsprogrammierschnittstellen ermöglichen die Integration zwischen Ihrem Unternehmen und wichtigen Ressourcen von Drittanbietern wie Salesforce oder Google Analytics. Auf diesen Software-as-a-Service (Saas)-Plattformen können daher unternehmenskritische Daten gespeichert werden; die Extraktion von Daten aus diesen Quellen liefert häufig wichtige Erkenntnisse.
Typischerweise läuft ETL-Software auf leistungsstarken dedizierten Servern mit beträchtlichen Rechen-, Speicher- und Speicherressourcen, um sowohl Platz für Extrakte aus entfernten Quellsystemen zu schaffen als auch diese Extrakte in das für den Anwendungsfall erforderliche Format zu transformieren. Nach der Transformation werden die Ergebnisse in das Ziel geladen. Wie bereits erwähnt, ist die Skalierung dedizierter physischer Hardware eine zeitaufwändige und kostspielige Angelegenheit; dasselbe gilt für die ETL-Infrastruktur, die bei Betrieb außerhalb der Kapazität erhebliche Leistungsengpässe verursacht.
Um das Risiko einer schlechten Hardwareleistung und die Kosten für die Modernisierung der ETL-Infrastruktur zu vermeiden, wenden immer mehr Fachleute einen ELT-Ansatz (Extract, Load, Transformation) an, bei dem die übliche Reihenfolge der Ereignisse umgekehrt wird, so dass Daten zuerst extrahiert und geladen und dann innerhalb der CDW transformiert werden. Lösungen, die eine ELT-Methode aufrufen, weisen die CDW an, ihre skalierbaren und massiv parallelen Verarbeitungsmöglichkeiten zu nutzen, um Ihre Daten in den Cluster zu laden, und transformieren sie dann in die von Ihnen angegebene Form, sobald diese Ladung abgeschlossen ist. Geringe Rechenleistungen reichen aus, um diese Anweisungen zu generieren und ermöglichen es Ihnen, die Investitionen, die Sie bereits in Ihre Cloud-Data-Warehouse-Plattform getätigt haben, die diewährend des ELT-Prozesses erforderlichen schweren Arbeiten übernimmt, zu nutzen.
Der ELT-Ansatz wäre ohne die in CDW-Plattformen integrierte Skalierbarkeit nicht möglich, die die für diesen Betrieb erforderlichen Ressourcen bereitstellt und es Business Intelligence-Organisationen ermöglicht, auf das kostspieligere und weniger flexible ETL-Muster zu verzichten. Außerdem ist ETL-Software extrem teuer in der Lizenzierung. Diese Lizenzen erfordern oft zusätzliche Gebühren für höhere Datenmengen und noch mehr für Konnektor-Add-ons, die Ihnen Zugriff auf die Quellsysteme geben, die Sie in Ihr Lager laden müssen. Der ELT-Ansatz bietet echte Vorteile, so dass Ihr Unternehmen seine Integrations- und Transformations-Workloads auf die für es am besten geeignete Plattform, nämlich die CDW, übertragen kann.
Die Cloud-native Architektur von bimanu Cloud nutzt die praktisch unendlichen Speicher- und Rechenressourcen, die in modernen Cloud-Data-Warehouse-Plattformen integriert sind. Durch den Einsatz von bimanu Cloud Sie in der Lage, mit Ihren Datenanforderungen schnell zu skalieren, indem Sie die Vorteile der Leistung und Funktionen der Cloud nutzen.
Visualisierung und Analyse
Die letzte Komponente im DAP ist eine Visualisierungs- und Analyseschicht. Diese Schicht bietet sowohl formale als auch Ad-hoc-Berichtsfunktionen auf der Grundlage der endgültigen, transformierten Daten, die wir aus unseren Quellsystemen extrahiert und mit anderen Datenelementen angereichert haben, um verwertbare Business Intelligence zu erstellen. Die daraus resultierenden Visualisierungen und Analysen dienen dem datengesteuerten Entscheidungsprozess, helfen bei besseren Entscheidungen und generieren letztlich Wettbewerbsvorteile.
Tools wie Tableau, Looker, SAP Analytics Cloud und MS Power BI bieten derzeit erstklassige Visualisierungs- und Reporting-Suiten. Solche Pakete geben Ihrem Unternehmen interaktive Berichts- und Dashboarding-Funktionen, die Einblicke elegant darstellen, die nicht leicht aus Tabellenkalkulationen allein gewonnen werden können. Ihre GUIs sind sowohl einfach genug, um schnell aussagekräftige Informationen zu produzieren, als auch reich genug, um Power-Usern alle erweiterten Funktionen zu bieten, die sie benötigen. Darüber hinaus unterstützen diese Tools CDWs, so dass Ihr Unternehmen diese flexiblen, skalierbaren und cloud-nativen Komponenten in einem erweiterbaren DAP-Framework kombinieren kann.
Unsere bimanu Analytics Umgebung wird zur Visualisierung im Self Service - BI Ansatz eingesetzt. Zur Administration der Anwender und effektiven Dashboard Erstellung setzen wir auf auf eine modifizierte Tableau Online Umgebung.
Düsseldorf, 16.05.2019 - Swen Göllner
