Automatisierung von Datenmanagement: Lösung zum Auslösen von Jobs bei Echtzeit-Änderungen von Daten in relationalen Datenbanktabellen!
Das manuelle Auslösen von SortCL-kompatiblen Jobs in IRI Voracity ETL-, IRI CoSort Reporting-, IRI FieldShield Datenmaskierung- oder IRI NextForm-Migrationsszenarien ist in Umgebungen, in denen Daten in Quellen dynamisch hinzugefügt oder geändert werden, weder realistisch noch produktiv. Im Gegensatz dazu macht die Automatisierung von Aufträgen in Echtzeit manuelle Aufrufe überflüssig und stellt sicher, dass die richtigen Aufträge rechtzeitig ausgeführt werden.
Datei-Überwachung Übersicht: Die Dateiüberwachung wird im Allgemeinen dazu verwendet, um festzustellen, ob eine Datei in einem Verzeichnis erstellt, geändert, umbenannt oder gelöscht wurde. Die beiden Hauptmethoden, die zur Ermittlung von Änderungen in einem Verzeichnis verwendet werden können, sind Polling und ereignisgesteuert.
Beim Polling werden Änderungen an Verzeichnissen ermittelt, indem in regelmäßigen Abständen eine Liste von Dateiinformationen in einem Verzeichnis abgerufen und mit einer Liste verglichen wird, die zuvor zwischengespeichert wurde.
Beim ereignisgesteuerten Ansatz benachrichtigt das Betriebssystem oder Subsystem eine Anwendung über Ereignisse, wenn sich der Inhalt eines Verzeichnisses ändert. Der ereignisgesteuerte Ansatz ist in der Regel effizienter, da er nicht die ständige Ausführung von Code erfordert, um festzustellen, dass sich etwas geändert hat.
In diesem Beitrag geht es um den ereignisgesteuerten Ansatz mit PowerShell 5.1 und der Microsoft .NET FileSystemWatcher-Klasse auf der Windows-Plattform. Wenn es um die Überwachung von Dateien geht, ist dies nicht die einzige Option. Einige andere Beispiele sind der Watch Service von Java und Linux inotify.
Viele der in diesem Beitrag besprochenen Konzepte gelten unabhängig von der Entwicklungssprache oder Plattform. PowerShell ist auch für Linux und macOS als Teil von Open Source .NET Core verfügbar.
Zusammenfassung: In diesem Beitrag haben wir die Vorteile der Automatisierung von SortCL-Job-Skriptausführungen für Echtzeit-Dateisystemereignisse erläutert. Anschließend haben wir ein Konzept und eine Implementierung vorgestellt, bei der diese Jobs ausgeführt werden, wenn Dateien in einem überwachten Verzeichnis erstellt oder aktualisiert werden.
Der in diesem Beitrag vorgestellte Ansatz sollte Ihnen einen guten Start für Ihre eigenen Automatisierungsbemühungen bieten. Ein weiterer Beitrag wird sich mit der Auslösung von SortCL-Jobs in Echtzeit durch Datenbankaktualisierungen befassen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
Das manuelle Auslösen von SortCL-kompatiblen Jobs in IRI Voracity ETL-, IRI CoSort Reporting-, IRI FieldShield Datenmaskierung- oder IRI NextForm-Migrationsszenarien ist in Umgebungen, in denen Daten in Quellen dynamisch hinzugefügt oder geändert werden, weder realistisch noch produktiv. Im Gegensatz dazu macht die Automatisierung von Aufträgen in Echtzeit manuelle Aufrufe überflüssig und stellt sicher, dass die richtigen Aufträge rechtzeitig ausgeführt werden.
Datei-Überwachung Übersicht: Die Dateiüberwachung wird im Allgemeinen dazu verwendet, um festzustellen, ob eine Datei in einem Verzeichnis erstellt, geändert, umbenannt oder gelöscht wurde. Die beiden Hauptmethoden, die zur Ermittlung von Änderungen in einem Verzeichnis verwendet werden können, sind Polling und ereignisgesteuert.
Beim Polling werden Änderungen an Verzeichnissen ermittelt, indem in regelmäßigen Abständen eine Liste von Dateiinformationen in einem Verzeichnis abgerufen und mit einer Liste verglichen wird, die zuvor zwischengespeichert wurde.
Beim ereignisgesteuerten Ansatz benachrichtigt das Betriebssystem oder Subsystem eine Anwendung über Ereignisse, wenn sich der Inhalt eines Verzeichnisses ändert. Der ereignisgesteuerte Ansatz ist in der Regel effizienter, da er nicht die ständige Ausführung von Code erfordert, um festzustellen, dass sich etwas geändert hat.
In diesem Beitrag geht es um den ereignisgesteuerten Ansatz mit PowerShell 5.1 und der Microsoft .NET FileSystemWatcher-Klasse auf der Windows-Plattform. Wenn es um die Überwachung von Dateien geht, ist dies nicht die einzige Option. Einige andere Beispiele sind der Watch Service von Java und Linux inotify.
Viele der in diesem Beitrag besprochenen Konzepte gelten unabhängig von der Entwicklungssprache oder Plattform. PowerShell ist auch für Linux und macOS als Teil von Open Source .NET Core verfügbar.
Zusammenfassung: In diesem Beitrag haben wir die Vorteile der Automatisierung von SortCL-Job-Skriptausführungen für Echtzeit-Dateisystemereignisse erläutert. Anschließend haben wir ein Konzept und eine Implementierung vorgestellt, bei der diese Jobs ausgeführt werden, wenn Dateien in einem überwachten Verzeichnis erstellt oder aktualisiert werden.
Der in diesem Beitrag vorgestellte Ansatz sollte Ihnen einen guten Start für Ihre eigenen Automatisierungsbemühungen bieten. Ein weiterer Beitrag wird sich mit der Auslösung von SortCL-Jobs in Echtzeit durch Datenbankaktualisierungen befassen.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
