Die Münchner prevero AG, 1994 gegründeter Spezialist für integrierte Planungs- und Controlling-Lösungen, hat ein Verfahren entwickelt, bei dem mit einer neuartigen Datenstruktur im Speicher und einem neuen Verfahren zur Verarbeitung der Daten die In-Memory-Datenbank von prevero, "MemoLytics", bisher unerreichbare Abfragezeiten erzielt. Diese werden auch bei großen Datenwürfeln sowie im Multi-User-Betrieb erreicht.
Zu den Besonderheiten dieser Entwicklung gehört das konsequente Ausnutzen von Multicore-Umgebungen durch MemoLytics; wenn nötig sogar innerhalb einzelner Auswertungen. Während verschiedene, verfügbare Systeme zwar die In-Memory Aggregation und Kalkulation auch unterstützen, findet bei prevero eine parallele Abarbeitung, sogenanntes Multithreading, auf der Ebene einzelner Abfragen statt. Die dauerhafte Speicherung der Daten erfolgt bei MemoLytics zudem transparent und sicher in einer relationalen Datenbank, und nicht in einem proprietären Dateiformat.
Die Entwicklung von MemoLytics wird seit 2009 vom Bundesministerium für Wirtschaft und Technologie (BMWi) gefördert, die Datenbank ist seit 2010 auf dem Markt und in diesem Jahr mit dem Innovationspreis IT der Initiative Mittelstand ausgezeichnet worden. In zahlreichen Anwendungsfällen wurden signifikante Performance-Steigerungen erreicht. Gegenüber relationalen Technologien liegen diese Steigerungen bei über Faktor 200. Um die Ergebnisse mit denen bisher führender In-Memory Produkte zu vergleichen, hat prevero umfangreiche Benchmark-Tests durchgeführt. In acht Szenarien wurden die Abfragezeiten von MemoLytics und den vier wichtigsten bestehenden In-Memory Lösungen gegenüber gestellt. Hier zeigte sich prevero als klarer Sieger. (Die Ergebnisse des Benchmarks sind auf Anfrage erhältlich: info@prevero.com.)
"On-the-fly" Auswertungen
Eine wesentliche Anforderung von Business Intelligence Anwendungen ist die schnelle verdichtete Auswertung von größeren mehrdimensionalen Datenmengen, so genannten Datenwürfeln. Ein Beispiel dafür ist die Auswertung der kumulierten Umsatzzahlen für das laufende Jahr nach Ländern, Artikelgruppen und Vertriebskanälen, wobei Basisdaten für hunderttausende Artikel, tausende von Orten und hunderte von Händlern zugrunde liegen können. Zudem kann es verschiedene weitere Auswertungsmerkmale geben und die Menge der Einzelwerte kann hunderte Millionen oder mehr umfassen.
Relationale Datenbanken sind für solche Szenarios nicht ausgelegt und kommen dabei schnell an ihre Leistungsgrenzen. So kann es mehrere Minuten oder sogar Stunden dauern, bestimmte Abfragen auszuführen. In-Memory Datenbanken bieten eine Lösung: Sie halten den gesamten Bestand an Basisdaten komprimiert im Speicher und ermitteln verdichtete Auswertungen sofort, "on-the-fly" innerhalb von Sekunden.
Die Idee dazu ist nicht ganz neu, bereits in den neunziger Jahren entstanden die ersten derartigen Datenbanken. Da Arbeitsspeicher heute günstig und in großen Mengen adressierbar ist, erlebt die In-Memory Datenbank aktuell eine Renaissance.
Knowhow aus optischer Messtechnik nutzen
Ganz neu sind in diesem Zusammenhang die eingesetzten Verfahren von MemoLytics, der In-Memory-Datenbank aus dem Hause prevero. MemoLytics macht sich Erkenntnisse aus der optischen Messtechnik zunutze, ein Bereich, der seit jeher mit der schnellen Verarbeitung riesiger Datenmengen zu kämpfen hat. Im Austausch mit Experten aus diesem Bereich hat prevero einen bahnbrechenden Ansatz entwickelt, der eine neuartige Datenstruktur im Speicher und ebenso neuartige Verfahren zur Verarbeitung der entsprechenden Daten umfasst. Auf diese Weise erzielt MemoLytics Abfragezeiten, die bisher unerreichbar waren. Und das auch bei großen Datenwürfeln und ebenso im Multi-User-Betrieb. Für Benutzer bedeuten "verkürzte Wartezeiten" spürbare Produktivitätszuwächse.
Zu den Besonderheiten dieser Entwicklung gehört das konsequente Ausnutzen von Multicore-Umgebungen durch MemoLytics; wenn nötig sogar innerhalb einzelner Auswertungen. Während verschiedene, verfügbare Systeme zwar die In-Memory Aggregation und Kalkulation auch unterstützen, findet bei prevero eine parallele Abarbeitung, sogenanntes Multithreading, auf der Ebene einzelner Abfragen statt. Die dauerhafte Speicherung der Daten erfolgt bei MemoLytics zudem transparent und sicher in einer relationalen Datenbank, und nicht in einem proprietären Dateiformat.
Die Entwicklung von MemoLytics wird seit 2009 vom Bundesministerium für Wirtschaft und Technologie (BMWi) gefördert, die Datenbank ist seit 2010 auf dem Markt und in diesem Jahr mit dem Innovationspreis IT der Initiative Mittelstand ausgezeichnet worden. In zahlreichen Anwendungsfällen wurden signifikante Performance-Steigerungen erreicht. Gegenüber relationalen Technologien liegen diese Steigerungen bei über Faktor 200. Um die Ergebnisse mit denen bisher führender In-Memory Produkte zu vergleichen, hat prevero umfangreiche Benchmark-Tests durchgeführt. In acht Szenarien wurden die Abfragezeiten von MemoLytics und den vier wichtigsten bestehenden In-Memory Lösungen gegenüber gestellt. Hier zeigte sich prevero als klarer Sieger. (Die Ergebnisse des Benchmarks sind auf Anfrage erhältlich: info@prevero.com.)
"On-the-fly" Auswertungen
Eine wesentliche Anforderung von Business Intelligence Anwendungen ist die schnelle verdichtete Auswertung von größeren mehrdimensionalen Datenmengen, so genannten Datenwürfeln. Ein Beispiel dafür ist die Auswertung der kumulierten Umsatzzahlen für das laufende Jahr nach Ländern, Artikelgruppen und Vertriebskanälen, wobei Basisdaten für hunderttausende Artikel, tausende von Orten und hunderte von Händlern zugrunde liegen können. Zudem kann es verschiedene weitere Auswertungsmerkmale geben und die Menge der Einzelwerte kann hunderte Millionen oder mehr umfassen.
Relationale Datenbanken sind für solche Szenarios nicht ausgelegt und kommen dabei schnell an ihre Leistungsgrenzen. So kann es mehrere Minuten oder sogar Stunden dauern, bestimmte Abfragen auszuführen. In-Memory Datenbanken bieten eine Lösung: Sie halten den gesamten Bestand an Basisdaten komprimiert im Speicher und ermitteln verdichtete Auswertungen sofort, "on-the-fly" innerhalb von Sekunden.
Die Idee dazu ist nicht ganz neu, bereits in den neunziger Jahren entstanden die ersten derartigen Datenbanken. Da Arbeitsspeicher heute günstig und in großen Mengen adressierbar ist, erlebt die In-Memory Datenbank aktuell eine Renaissance.
Knowhow aus optischer Messtechnik nutzen
Ganz neu sind in diesem Zusammenhang die eingesetzten Verfahren von MemoLytics, der In-Memory-Datenbank aus dem Hause prevero. MemoLytics macht sich Erkenntnisse aus der optischen Messtechnik zunutze, ein Bereich, der seit jeher mit der schnellen Verarbeitung riesiger Datenmengen zu kämpfen hat. Im Austausch mit Experten aus diesem Bereich hat prevero einen bahnbrechenden Ansatz entwickelt, der eine neuartige Datenstruktur im Speicher und ebenso neuartige Verfahren zur Verarbeitung der entsprechenden Daten umfasst. Auf diese Weise erzielt MemoLytics Abfragezeiten, die bisher unerreichbar waren. Und das auch bei großen Datenwürfeln und ebenso im Multi-User-Betrieb. Für Benutzer bedeuten "verkürzte Wartezeiten" spürbare Produktivitätszuwächse.
