❌ Talend Data Fabric ❌ Schnellere Datenintegration mit Datenschutz via Datenmaskierung und synthetische Testdaten für TDM ❗

Veröffentlicht am von

Tuning mittels effizientere und kostengünstigere Datentransformation ohne zusätzlichen Storage, Server oder Hadoop-Plattform ❗

Pressemeldung der Firma JET-Software GmbH
Sort-Beschleunigung, Aggregation und Zusammenführen von Talend ETL-Strömen mit einem tSystem-Aufruf! Sensible Daten in Tabellen und Flat-Files innerhalb von Talend schützen! Sichere und realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten sowie aller über JDBC verbundenen RDB-Datenmodelle erzeugen. Automatische Konvertierung von Mappings in Talend in schnellere, einfachere und kostengünstigere ETL-Operationen mit Erwin (AnalytiX DS) oder Code-Automation Frameworks (CATfx)!


Auch nach der Beratung und Abstimmung können große Datenmengen (d.h. mehr als eine Million Zeilen) nur langsam transformiert werden, insbesondere ohne ein teures Hardware- oder Versionsupgrade von Talend!

Große Datenengpässe sind große Sortierungen, Joins, Aggregationen, Ladungen und manchmal auch Entladungen. Die Parallelisierung oder Optimierung in anderen Ebenen oder Tools kann unhandlich, wenn nicht sogar teuer sein und die Leistung für andere Benutzer beeinträchtigen.

Aus Sicherheitssicht bietet Talend möglicherweise nicht die Funktionen zum Erkennen, Klassifizieren oder Maskieren von Daten oder zum Testen von Datenfunktionen, die Datenverwalter und Anwendungsentwickler benötigen:

Transformationen beschleunigen: Sort-Beschleunigung, Aggregation und Zusammenführen von Talend ETL-Strömen mit einem tSystem-Aufruf an die Programme CoSort Sort Sort Control Language (SortCL). Führen Sie große Datentransformationen mehrfach zeitsparend aus, ohne aus Mangel an Speicherplatz zusammenzubrechen und ohne andere Jobs in Talend, Ihrem DB- oder BI-Tool zu belasten. Geben Sie außerdem Dateiformat- und Datentypkonvertierungen, Maskierungs- und Bereinigungsfunktionen auf Feldebene, benutzerdefinierte Berichtslayouts und vorsortierte Ladedateien an.

In diesem Artikel finden Sie Benchmarks und Ratschläge zur Leistungssteigerung durch tSystem-Aufrufe, die CoSort- oder Voracity-Anwendern zur Verfügung stehen. Beschleunigen und kombinieren Sie Transformations- und andere große Daten-Staging-Aufträge in viel weniger Zeit und Speicherplatz.

PII-Daten maskieren: Daten, die sich in Tabellen und Flat-Files innerhalb von DataStage befinden, können sensibel sein und personenbezogene Daten enthalten, die Vertraulichkeitsbeschränkungen und Datenschutzgesetzen unterliegen. Sowohl IRI Voracity als auch IRI FieldShield können Felder in strukturierten Datensätzen in jeder ODBC-verbundenen Datenbank oder jedem Flat-File-Format schützen.

Ihre Geschäftsregeln bestimmen die Funktion, die Sie für jede Spalte wählen, d.h. formaterhaltende AES-256, FIPS-konforme OpenSSL-, 3DES- und/oder GPG-Verschlüsselung, Lookup-Wert-Substitution (Pseudonymisierung), Zeichenmaskierung, Hashing, Redaktion, benutzerdefinierte Ausdruckslogik, Teilzeichenkette oder Benutzerfeldfunktion.

Testdaten erstellen: IRI Voracity erzeugt durch sein konstitutives (oder eigenständiges) IRI RowGen-Softwareprodukt sichere, realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten sowie aller über JDBC verbundenen RDB-Datenmodelle. Verwenden Sie RowGen, um konforme, realistische Testdaten aus zufälliger Generierung und/oder Set-Datei-Auswahl zu erstellen und sie mit integrierten Datenmanipulations- und Formatierungsfunktionen noch weiter anzupassen.

Re-Plattform der Jobs: Automatische Konvertierung von Mappings in Talend in schnellere, einfachere und kostengünstigere ETL-Operationen in IRI Voracity mit Erwin (ehemals AnalytiX DS) Mapping Manager oder Code-Automation Frameworks (CATfx). Diese bewährte Technologie, zusammen mit den erwin Lite Speed Conversion Services, gibt ETL-Architekten und der CIO/CFO-Suite routinemäßig die Möglichkeit, zehn bis hunderttausende von Euro pro Jahr zu sparen.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.



Firmenkontakt und Herausgeber der Meldung:
JET-Software GmbH
Edmund-Lang-Straße 16
64832 Babenhausen
Telefon: +49 (6073) 711-403
Telefax: +49 (6073) 711-405
https://www.jet-software.com

Ansprechpartner:
Amadeus Thomas
+49 (6073) 711403



Dateianlagen:
    • Sort-Beschleunigung, Aggregation und Zusammenführen von Talend ETL-Strömen mit einem tSystem-Aufruf! Sensible Daten in Tabellen und Flat-Files innerhalb von Talend schützen! Sichere und realistische Testdaten unter Verwendung von COBOL- oder CoSort-Metadaten sowie aller über JDBC verbundenen RDB-Datenmodelle erzeugen. Automatische Konvertierung von Mappings in Talend in schnellere, einfachere und kostengünstigere ETL-Operationen mit Erwin (AnalytiX DS) oder Code-Automation Frameworks (CATfx)!
    • IRI Voracity ist die einzige organisch gewachsene, vollständig integrierte Datenlebenszyklus-Management-Plattform und Manipulationskraftpaket für große und kleine Daten. Es ist auch der einzige BI/DW- und Data Governance-Stack, der auf CoSort und nahtlos integrierten Hadoop-Engines basiert. Und es wird in einer kostenlosen, vertrauten Eclipse-GUI für ergonomisches Jobdesign, -bereitstellung und -management unterstützt.
    • Voracity ist eine End-to-End-Datenmanagement-Plattform, die auf Eclipse basiert und von CoSort oder Hadoop für die Erkennung, Integration, Migration, Governance und Analyse von großen + kleinen, un- + strukturierten lokalen oder Cloud-Daten unterstützt wird. DW/BI, DB/Test und Compliance (z.B. GDPR) Architekten in jeder Branche verwenden Voracity, um zu klassifizieren, zu suchen, zu transformieren, zu reinigen, zu maskieren, zu verschieben, zu berichten, zu analysieren plus Testdatengenerierung!
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert. Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.


Weiterführende Links

Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die Huber Verlag für Neue Medien GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die Huber Verlag für Neue Medien GmbH gestattet.