❌ Jenkins für DevOps ❌ Testdatenmanagement für Datenmaskierung, synthetische Testdaten oder für Datenbank-Subsetting in einer Jenkins-Pipeline ❗

Veröffentlicht am von

TDM-Software um sichere, referenziell korrekte Test Data für DevOps in CI/CD-Umgebungen einzuspeisen❗

Pressemeldung der Firma JET-Software GmbH
Dieser Jenkins-Beitrag ist der vierte in einer Reihe von Artikeln über die Verwendung der IRI-Software für das Testdatenmanagement - die Daten maskiert, synthetisiert oder subsummiert - um sichere, referenziell korrekte Testdaten für DevOps in CI/CD-Umgebungen zu liefern.


Testen mit DB-Subsets in einer Jenkins CI/CD Pipeline: Dieser Jenkins-Beitrag ist der vierte in einer Reihe von Artikeln über die Verwendung der IRI-Software für das Testdatenmanagement – die Daten maskiert, synthetisiert oder subsummiert – um sichere, referenziell korrekte Testdaten für DevOps in CI/CD-Umgebungen zu liefern. In früheren Artikeln wurden Beispiele für die Erstellung von Testdaten mit IRI-Software und die Verwendung dieser Daten in GitLab, AWS CodePipeline und Azure DevOps gezeigt.

In diesem Artikel erklären wir, wie man Jenkins in einer Google Cloud Platform (GCP) Virtual Machine (VM) hostet und einen IRI-Datenbank-Subsetting-Auftrag ausführt, um diese Daten in eine Jenkins-Pipeline einzuspeisen. Subsetting erzeugt eine kleinere, aber referenziell korrekte Kopie eines größeren Datenbankschemas.

Das Subsetting ist in Software- oder Datenbanktestszenarien nützlich, die nicht die (Größen-)Ressourcen oder das (Datenschutz-)Risiko der Verwendung einer Kopie einer Produktionsinstanz rechtfertigen. In Verbindung mit der Datenbereinigung und -maskierung werden die Teilmengen zudem bereinigt und können sicher verwendet werden.

Hier finden Sie alle technischen Details, Erklärungen und unsere Test-Beispiele.

Zusammenfassung: In diesem Artikel haben wir gezeigt, wie man eine GCP-VM-Instanz einrichtet und Jenkins darauf installiert. Anschließend wurde eine Jenkins-CI/CD-Pipeline erstellt und so eingestellt, dass sie auf Webhooks von unserem Ziel-GitHub-Repository hört.

Anschließend haben wir den Jenkins-Editor besprochen und wie er die Konfiguration von Jenkins-Dateien in IRI Workbench vereinfachen kann. Abschließend wurde anhand von Beispielen gezeigt, wie eine Jenkins-Datei geschrieben wird, um einen IRI-Subsetting-Job mit der SortCL-Engine auszuführen, die sich auf demselben – oder einem anderen – Knoten befindet.

Wie bereits erwähnt, ist das Subsetting für Test- und Entwicklungszwecke nützlich. So kann es beispielsweise vorkommen, dass Entwickler mit Produktionsdaten in einer Testumgebung arbeiten möchten, aber entweder nicht die notwendigen Ressourcen für ein Duplikat ihrer gesamten Produktionsdatenbank bereitstellen wollen oder können.

Es kann daher nützlich sein, eine kleinere Kopie der Datenbank zu haben, bei der die referentielle Integrität noch intakt ist. Durch die Einbeziehung von Maskierungsmethoden in den Prozess der Untergruppenbildung erhalten wir außerdem realistische Daten, deren PII bereinigt sind.

In Anbetracht der Tatsache, dass eine Anwendung während der Testphasen eines DevOps-Prozesses möglicherweise Testdaten benötigt, ist es nur sinnvoll, das Subsetting in die Abläufe der CI/CD-Pipeline zu integrieren. Auf diese Weise schaffen wir einen umfassenden Prozess, bei dem wir unsere Testdaten/Datenbanken zusammen mit unserem Anwendungscode erstellen und bereitstellen können, um aussagekräftige Testdaten zu liefern, die in den Testphasen der Pipeline verwendet werden.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.



Firmenkontakt und Herausgeber der Meldung:
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
+49 (6073) 711403



Dateianlagen:
    • Dieser Jenkins-Beitrag ist der vierte in einer Reihe von Artikeln über die Verwendung der IRI-Software für das Testdatenmanagement - die Daten maskiert, synthetisiert oder subsummiert - um sichere, referenziell korrekte Testdaten für DevOps in CI/CD-Umgebungen zu liefern.
    • Wir bieten vier Methoden zur Erzeugung sicherer, intelligenter Testdaten in Datenbanken, Flat-File, semi-strukturierten Dateien und formatierten Berichtszielen: 1. Produktionsdatenmaskierung/Vertauschung 2. Datenbank-Subsetting & Maskierung 3. Synthetische Testdatenerstellung (über Zufallsgenerierung/-auswahl) 4. Eine Kombination der obigen Techniken
    • IRI RowGen verwendet Produktions-Metadaten, um benutzerdefinierte, synthetische Testsätze mit zufällig generierten Daten und/oder zufällig ausgewählten Daten aus Produktionsquellen zu erstellen. Um die richtigen Volumen und Wertebereiche zu erzeugen, verwendet RowGen bedingte Auswahl- und Formatierungsparameter. RowGen verbessert den Realismus der Testdaten weiter durch referentielle Integrität, Häufigkeitsverteilungen und integrierte Transformations- und Formatierungsfunktionen.
    • Die preisgekrönte datenzentrische ("Startpoint") Sicherheitssoftware von IRI hat sich in einer Vielzahl von Umgebungen zur Aufhebung von Verstößen, Einhaltung des Datenschutzes und DevOps (Testdaten) wiederholt bewährt. Verwenden Sie zweckmäßige IRI-Datenschutzprodukte oder die umfassende IRI Voracity-Plattform, um sensible Daten zu finden und zu maskieren - egal in welcher Form und wo sie sich befinden - und um zu beweisen, dass Sie sie geschützt haben.
    • IRI Voracity ist die einzige organisch gewachsene, vollständig integrierte Datenlebenszyklus-Management-Plattform und Manipulationskraftpaket für große und kleine Daten. Es ist auch der einzige BI/DW- und Data Governance-Stack, der auf CoSort und nahtlos integrierten Hadoop-Engines basiert. Und es wird in einer kostenlosen, vertrauten Eclipse-GUI für ergonomisches Jobdesign, -bereitstellung und -management unterstützt.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert. Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.


Weiterführende Links

Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die Huber Verlag für Neue Medien GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die Huber Verlag für Neue Medien GmbH gestattet.