Durch Änderungen der Quelldatei(en) automatisch Jobs ausführen für bspw. schnellste Datenreplikation, umfangreiche Datenintegration, sichere Datenmaskierung,.. ?

In diesem Beitrag zeigen wir ein Proof of Concept (POC), das automatisch ein vorhandenes SortCL-kompatibles Jobskript auf der Grundlage des Dateinamens ausführt, wenn eine neue Datei erstellt wird oder Daten in einer vorhandenen Datei hinzugefügt oder geändert werden.

Automatisierung von Aufträgen durch Datei-Überwachung: Die manuelle Auslösung von SortCL-kompatiblen Jobs in IRI Voracity ETL-, CoSort Reporting-, FieldShield Maskierung- oder NextForm-Migrationsszenarien ist in Umgebungen, in denen Daten in Quellen dynamisch hinzugefügt oder geändert werden, nicht realistisch oder produktiv. Im Gegensatz dazu macht die Automatisierung von Aufträgen in Echtzeit manuelle Aufrufe überflüssig und stellt sicher, dass die richtigen Aufträge rechtzeitig ausgeführt werden.

In diesem Beitrag zeigen wir ein Proof of Concept (POC), das automatisch ein vorhandenes SortCL-kompatibles Jobskript auf der Grundlage des Dateinamens ausführt, wenn eine neue Datei erstellt wird oder Daten in einer vorhandenen Datei hinzugefügt oder geändert werden.

Anmerkung: Dieser Artikel ist technischer Natur und erfordert ein grundlegendes Verständnis von Ereignissen und Skriptsprachen. IRI arbeitet an einer analogen, protokollbasierten Lösung zur Auslösung von SortCL-Jobs bei Echtzeitänderungen von Daten in relationalen Datenbanktabellen und MongoDB-Sammlungen.

Überblick über die Dateiüberwachung: Die Dateiüberwachung wird im Allgemeinen verwendet, um festzustellen, ob eine Datei in einem Verzeichnis erstellt, geändert, umbenannt oder gelöscht wurde. Die beiden Hauptmethoden, die zur Ermittlung von Änderungen in einem Verzeichnis verwendet werden können, sind Polling und ereignisgesteuert.

Beim Polling werden Änderungen an Verzeichnissen ermittelt, indem in regelmäßigen Abständen eine Liste von Dateiinformationen in einem Verzeichnis abgerufen und mit einer Liste verglichen wird, die zuvor zwischengespeichert wurde.

Beim ereignisgesteuerten Ansatz benachrichtigt das Betriebssystem oder Subsystem eine Anwendung über Ereignisse, wenn sich der Inhalt eines Verzeichnisses ändert. Der ereignisgesteuerte Ansatz ist in der Regel effizienter, da er nicht die ständige Ausführung von Code erfordert, um festzustellen, dass sich etwas geändert hat.

Dieser Beitrag konzentriert sich auf den ereignisgesteuerten Ansatz unter Verwendung von PowerShell 5.1 und der Microsoft .NET FileSystemWatcher-Klasse auf der Windows-Plattform. Wenn es um die Überwachung von Dateien geht, ist dies nicht die einzige Option. Einige andere Beispiele sind der Watch Service von Java und Linux inotify.

Viele der in diesem Beitrag besprochenen Konzepte gelten unabhängig von der Entwicklungssprache oder Plattform. Wir haben es zwar noch nicht getestet, aber PowerShell ist auch für Linux und macOS als Teil von Open Source .NET Core verfügbar. Wie zu erwarten, sind nicht alle unter Windows verfügbaren Befehle auch unter Linux verfügbar.

Alle technischen Details finden Sie hier im ausführlichen Blog-Artikel unseres Partners IRI Inc.

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

• • 
    In diesem Beitrag zeigen wir ein Proof of Concept (POC), das automatisch ein vorhandenes SortCL-kompatibles Jobskript auf der Grundlage des Dateinamens ausführt, wenn eine neue Datei erstellt wird oder Daten in einer vorhandenen Datei hinzugefügt oder geändert werden.
• • 
    Was unsere 43 Jahre im Bereich Big Data für Sie bedeuten: Seit 1978 hat sich Innovative Routines International (IRI Inc.) auf die Verarbeitung und das Management von "Big Data" spezialisiert. Lange bevor der Begriff unter Hadoop fiel, haben unsere Kunden ihn verwendet, um ihre sehr großen Datei- und Datenbankquellen zu beschreiben, die in CoSort umgewandelt und ausgewertet wurden ... und tun es immer noch!
• • 
    Die preisgekrönte datenzentrische ("Startpoint") Sicherheitssoftware von IRI hat sich in einer Vielzahl von Umgebungen zur Aufhebung von Verstößen, Einhaltung des Datenschutzes und DevOps (Testdaten) wiederholt bewährt. Verwenden Sie zweckmäßige IRI-Datenschutzprodukte oder die umfassende IRI Voracity-Plattform, um sensible Daten zu finden und zu maskieren - egal in welcher Form und wo sie sich befinden - und um zu beweisen, dass Sie sie geschützt haben.
• • 
    IRI Voracity ist die einzige organisch gewachsene, vollständig integrierte Datenlebenszyklus-Management-Plattform und Manipulationskraftpaket für große und kleine Daten. Es ist auch der einzige BI/DW- und Data Governance-Stack, der auf CoSort und nahtlos integrierten Hadoop-Engines basiert. Und es wird in einer kostenlosen, vertrauten Eclipse-GUI für ergonomisches Jobdesign, -bereitstellung und -management unterstützt.

Weiterführende Links

• Originalmeldung von JET-Software GmbH
• Alle Meldungen von JET-Software GmbH
• PII, PHI, PAN und PCI in semi/un/strukturierten Quellen - lokal oder in der Cloud - finden und maskieren! Sensible Daten GDPR-konform schützen!
• Schnellere Datenmastering-Lösungen: Voracity ist die einzige leistungsstarke All-in-One-Datenmanagement-Plattform. Kontrollieren Sie Ihre Daten in jeder Phase des Lebenszyklus und ziehen Sie den maximalen Wert daraus!