Testen mit DB-Subsets in einer Jenkins CI/CD Pipeline: Dieser Jenkins-Beitrag ist der vierte in einer Reihe von Artikeln über die Verwendung der IRI-Software für das Testdatenmanagement - die Daten maskiert, synthetisiert oder subsummiert - um sichere, referenziell korrekte Testdaten für DevOps in CI/CD-Umgebungen zu liefern. In früheren Artikeln wurden Beispiele für die Erstellung von Testdaten mit IRI-Software und die Verwendung dieser Daten in GitLab, AWS CodePipeline und Azure DevOps gezeigt.
In diesem Artikel erklären wir, wie man Jenkins in einer Google Cloud Platform (GCP) Virtual Machine (VM) hostet und einen IRI-Datenbank-Subsetting-Auftrag ausführt, um diese Daten in eine Jenkins-Pipeline einzuspeisen. Subsetting erzeugt eine kleinere, aber referenziell korrekte Kopie eines größeren Datenbankschemas.
Das Subsetting ist in Software- oder Datenbanktestszenarien nützlich, die nicht die (Größen-)Ressourcen oder das (Datenschutz-)Risiko der Verwendung einer Kopie einer Produktionsinstanz rechtfertigen. In Verbindung mit der Datenbereinigung und -maskierung werden die Teilmengen zudem bereinigt und können sicher verwendet werden.
Hier finden Sie alle technischen Details, Erklärungen und unsere Test-Beispiele.
Zusammenfassung: In diesem Artikel haben wir gezeigt, wie man eine GCP-VM-Instanz einrichtet und Jenkins darauf installiert. Anschließend wurde eine Jenkins-CI/CD-Pipeline erstellt und so eingestellt, dass sie auf Webhooks von unserem Ziel-GitHub-Repository hört.
Anschließend haben wir den Jenkins-Editor besprochen und wie er die Konfiguration von Jenkins-Dateien in IRI Workbench vereinfachen kann. Abschließend wurde anhand von Beispielen gezeigt, wie eine Jenkins-Datei geschrieben wird, um einen IRI-Subsetting-Job mit der SortCL-Engine auszuführen, die sich auf demselben - oder einem anderen - Knoten befindet.
Wie bereits erwähnt, ist das Subsetting für Test- und Entwicklungszwecke nützlich. So kann es beispielsweise vorkommen, dass Entwickler mit Produktionsdaten in einer Testumgebung arbeiten möchten, aber entweder nicht die notwendigen Ressourcen für ein Duplikat ihrer gesamten Produktionsdatenbank bereitstellen wollen oder können.
Es kann daher nützlich sein, eine kleinere Kopie der Datenbank zu haben, bei der die referentielle Integrität noch intakt ist. Durch die Einbeziehung von Maskierungsmethoden in den Prozess der Untergruppenbildung erhalten wir außerdem realistische Daten, deren PII bereinigt sind.
In Anbetracht der Tatsache, dass eine Anwendung während der Testphasen eines DevOps-Prozesses möglicherweise Testdaten benötigt, ist es nur sinnvoll, das Subsetting in die Abläufe der CI/CD-Pipeline zu integrieren. Auf diese Weise schaffen wir einen umfassenden Prozess, bei dem wir unsere Testdaten/Datenbanken zusammen mit unserem Anwendungscode erstellen und bereitstellen können, um aussagekräftige Testdaten zu liefern, die in den Testphasen der Pipeline verwendet werden.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
In diesem Artikel erklären wir, wie man Jenkins in einer Google Cloud Platform (GCP) Virtual Machine (VM) hostet und einen IRI-Datenbank-Subsetting-Auftrag ausführt, um diese Daten in eine Jenkins-Pipeline einzuspeisen. Subsetting erzeugt eine kleinere, aber referenziell korrekte Kopie eines größeren Datenbankschemas.
Das Subsetting ist in Software- oder Datenbanktestszenarien nützlich, die nicht die (Größen-)Ressourcen oder das (Datenschutz-)Risiko der Verwendung einer Kopie einer Produktionsinstanz rechtfertigen. In Verbindung mit der Datenbereinigung und -maskierung werden die Teilmengen zudem bereinigt und können sicher verwendet werden.
Hier finden Sie alle technischen Details, Erklärungen und unsere Test-Beispiele.
Zusammenfassung: In diesem Artikel haben wir gezeigt, wie man eine GCP-VM-Instanz einrichtet und Jenkins darauf installiert. Anschließend wurde eine Jenkins-CI/CD-Pipeline erstellt und so eingestellt, dass sie auf Webhooks von unserem Ziel-GitHub-Repository hört.
Anschließend haben wir den Jenkins-Editor besprochen und wie er die Konfiguration von Jenkins-Dateien in IRI Workbench vereinfachen kann. Abschließend wurde anhand von Beispielen gezeigt, wie eine Jenkins-Datei geschrieben wird, um einen IRI-Subsetting-Job mit der SortCL-Engine auszuführen, die sich auf demselben - oder einem anderen - Knoten befindet.
Wie bereits erwähnt, ist das Subsetting für Test- und Entwicklungszwecke nützlich. So kann es beispielsweise vorkommen, dass Entwickler mit Produktionsdaten in einer Testumgebung arbeiten möchten, aber entweder nicht die notwendigen Ressourcen für ein Duplikat ihrer gesamten Produktionsdatenbank bereitstellen wollen oder können.
Es kann daher nützlich sein, eine kleinere Kopie der Datenbank zu haben, bei der die referentielle Integrität noch intakt ist. Durch die Einbeziehung von Maskierungsmethoden in den Prozess der Untergruppenbildung erhalten wir außerdem realistische Daten, deren PII bereinigt sind.
In Anbetracht der Tatsache, dass eine Anwendung während der Testphasen eines DevOps-Prozesses möglicherweise Testdaten benötigt, ist es nur sinnvoll, das Subsetting in die Abläufe der CI/CD-Pipeline zu integrieren. Auf diese Weise schaffen wir einen umfassenden Prozess, bei dem wir unsere Testdaten/Datenbanken zusammen mit unserem Anwendungscode erstellen und bereitstellen können, um aussagekräftige Testdaten zu liefern, die in den Testphasen der Pipeline verwendet werden.
Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.
