Big Data hat sich zu einer wichtigen Disziplin im Bereich der dispositiven Datenverarbeitung entwickelt. Bei der Analyse von Messdaten, Daten aus sozialen Netzwerken und vielen anderen Bereichen sind die Big Data-Technologien und Vorgehensweisen nicht mehr wegzudenken. Da heutzutage das klassische Data Warehouse (DWH), Business Intelligence (BI) und Big Data-Technologien zusammenwachsen, können die jeweiligen Vorteile kombiniert und Kosten eingespart werden.
Big Data-Technologien werden zur Akquise und dem Staging von Daten verwendet, die folgenden Analysen werden dann aber mit klassischen DWH- und BI-Methoden und -Tools durchgeführt. Der Zugriff zwischen klassischen DWH-/BI-Systemen und Big Data-Systemen wird immer stärker unterstützt. Techniken wie z.B. Sqoop lassen einen einfachen Datentransfer in Hadoop-Systeme zu. Klassische ETL-Anbieter wie Informatica unterstützen mit PowerCenter Big Data Edition Big Data-Systeme und erlauben eine transparente ETL-Entwicklung für Big Data- und klassische DWH-Systeme. Auch ermöglichen Technologien wie IMPALA Ad-hoc-Auswertungen in Big Data-Systemen.
Die Einsatzbereiche von Big Data-Technologien und Methoden reichen heute weit über die naheliegende Analyse von Social Media und anderen un- und semistrukturierten Daten hinaus. So können auch große strukturierte Datenmengen mit Big Data-Technologien verarbeitet werden. Hier kann ein klarer Cost Case entstehen, wenn etablierte kostenintensive Technologien durch moderne kostengünstige Big Data-Technologien ersetzt oder ergänzt werden. Durch die Koexistenz von etablierten DWH-/BI-Technologien und modernen Big Data-Technologien können die Vorteile aus beiden Welten kombiniert werden.
In einem solchen Szenario kann die Speicherung und Verarbeitung der Rohdaten durch Big Data-Technologien durchgeführt werden. Spezielle Analysen werden dann auf dem Data Lake ausgeführt. Für Analysen und Reportings mit klassischen BI-Tools werden die benötigten Daten anschließend in ein relationales oder multidimensionales System überführt. Mit einem solchen Ansatz kann der Großteil der Daten kostengünstig in Big Data-Technologien gespeichert und verarbeitet werden. Dabei stehen die Möglichkeiten von Big Data zur erweiterten Analyse zur Verfügung und ein Großteil der Benutzer kann trotzdem mit den bestehenden Werkzeugen weiterarbeiten und hat eine gewohnte User Experience.
Im Rahmen der Lehrtätigkeit für BI (CAS BI) von Jörg Frank, Management Consultant bei der Syncwork AG, an der Berner Fachhochschule wurde Big Data als integrierter Bestandteil in den Lehrplan aufgenommen. Die Kombination der klassischen DWH-/BI-Systeme und der neuen Big Data-Technologie im Studium ermöglicht den angehenden Experten einen frühen, umfassenden Einblick in diese Technologien und erweitert die Möglichkeiten von DWH-/BI-Systemen. Heute ist es umso wichtiger, den gesamten Umfang der Möglichkeiten für den Entwurf solcher Systeme zu kennen, um diese spezifisch und effizient einzusetzen.
Big Data-Technologien werden zur Akquise und dem Staging von Daten verwendet, die folgenden Analysen werden dann aber mit klassischen DWH- und BI-Methoden und -Tools durchgeführt. Der Zugriff zwischen klassischen DWH-/BI-Systemen und Big Data-Systemen wird immer stärker unterstützt. Techniken wie z.B. Sqoop lassen einen einfachen Datentransfer in Hadoop-Systeme zu. Klassische ETL-Anbieter wie Informatica unterstützen mit PowerCenter Big Data Edition Big Data-Systeme und erlauben eine transparente ETL-Entwicklung für Big Data- und klassische DWH-Systeme. Auch ermöglichen Technologien wie IMPALA Ad-hoc-Auswertungen in Big Data-Systemen.
Die Einsatzbereiche von Big Data-Technologien und Methoden reichen heute weit über die naheliegende Analyse von Social Media und anderen un- und semistrukturierten Daten hinaus. So können auch große strukturierte Datenmengen mit Big Data-Technologien verarbeitet werden. Hier kann ein klarer Cost Case entstehen, wenn etablierte kostenintensive Technologien durch moderne kostengünstige Big Data-Technologien ersetzt oder ergänzt werden. Durch die Koexistenz von etablierten DWH-/BI-Technologien und modernen Big Data-Technologien können die Vorteile aus beiden Welten kombiniert werden.
In einem solchen Szenario kann die Speicherung und Verarbeitung der Rohdaten durch Big Data-Technologien durchgeführt werden. Spezielle Analysen werden dann auf dem Data Lake ausgeführt. Für Analysen und Reportings mit klassischen BI-Tools werden die benötigten Daten anschließend in ein relationales oder multidimensionales System überführt. Mit einem solchen Ansatz kann der Großteil der Daten kostengünstig in Big Data-Technologien gespeichert und verarbeitet werden. Dabei stehen die Möglichkeiten von Big Data zur erweiterten Analyse zur Verfügung und ein Großteil der Benutzer kann trotzdem mit den bestehenden Werkzeugen weiterarbeiten und hat eine gewohnte User Experience.
Im Rahmen der Lehrtätigkeit für BI (CAS BI) von Jörg Frank, Management Consultant bei der Syncwork AG, an der Berner Fachhochschule wurde Big Data als integrierter Bestandteil in den Lehrplan aufgenommen. Die Kombination der klassischen DWH-/BI-Systeme und der neuen Big Data-Technologie im Studium ermöglicht den angehenden Experten einen frühen, umfassenden Einblick in diese Technologien und erweitert die Möglichkeiten von DWH-/BI-Systemen. Heute ist es umso wichtiger, den gesamten Umfang der Möglichkeiten für den Entwurf solcher Systeme zu kennen, um diese spezifisch und effizient einzusetzen.
