Telco Abstract Syntax Notation.One: In TAP3-Schema kodierte Rohdaten direkt in lesbare Text- und XLSX-Ausgaben umwandeln ❗

Dieses Bild aus IRI Workbench zeigt eine Visualisierung des Mappings und der Transformationen, die an den Daten von der ursprünglichen Eingabe bis zur Ausgabe durchgeführt werden. Dieses Beispiel zeigt einen Auftrag, der grundlegende Berichte von Rohdaten, die durch ein TAP3-Schema kodiert sind, in lesbare Ausgaben in Text- und XLSX-Dateiformaten umwandelt.

Direkte Unterstützung des ASN.1-Formats: Abstract Syntax Notation One (ASN.1) ist eine Sprache zur Beschreibung des Inhalts und der Kodierung von Nachrichtendaten, die zwischen Computern ausgetauscht werden (insbesondere in der Telekommunikationsindustrie).

Dies ist der erste in einer Reihe von fünf Artikeln über das Dateiformat und das umfassende neue Data Engineering, das Sie mit ASN.1-Dateien unter Verwendung der IRI-Software durchführen können.

Jede Datei wird durch eine ASN.1-Spezifikationsdatei (auch als Schema bezeichnet) beschrieben, die in der Regel die Erweiterung .asn hat. Diese für den Menschen lesbare Metadaten-Datei definiert jedes Feld in der Nachricht und wird automatisch in SortCL-kompatiblen Jobs in der IRI Voracity Datenmanagement-Plattform und ihren Komponentenprodukten (CoSort für Big Data Manipulation, NextForm für Datenmigration, FieldShield für Datenmaskierung und RowGen für Testdatengenerierung) verarbeitet.

ASN.1 CDRs: Jeder Festnetz- oder Mobiltelefonanruf, der über ein Public Land Mobile Network (PLMN) getätigt wird, erzeugt einen oder mehrere Anrufdatensätze. Diese Call Detail Records (CDRs) oder Usage Detail Records (UDRs) werden von der Mobilvermittlungsstelle (MSC) generiert – dem primären GSM/CDMA-Dienstleistungsknoten, der für die Weiterleitung von Sprachanrufen, SMS und anderen Diensten zuständig ist.

CDRs enthalten Informationen, die der Netzbetreiber für die Teilnehmeridentifizierung, die Abrechnung von Anrufen, die in Anspruch genommenen Dienste, die Anrufweiterleitung usw. verwendet. Nachdem ein „Datensammler“ in der Netzvermittlungsstelle die CDRs erfasst hat, werden sie in der Regel von einem „Vermittlungssystem“ von einem binären Format in ein Flat-File-format umgewandelt.

CDRs werden in der Regel in einem Format kodiert, das einem Standard namens ASN.1 (Abstract Syntax Notation One) entspricht. ASN.1 ist ein flexibles Rahmenwerk für die Darstellung von Datenstrukturen in Telekommunikations- und Computernetzwerken, das in gewissem Umfang auch für Fahrzeugverkehrs- und Finanztransaktionsprotokolle verwendet wird. Ein Beispiel für ein standardisiertes ASN.1-Schema ist TAP3, dem viele CDRs folgen.

Flat CDRs werden von nachgelagerten Abrechnungs- und Analyseanwendungen verwendet, die diese Daten nutzen müssen. Voracity und die meisten Datenintegrations- (ETL) und Telco Application Service Provider (ASP)-Operationen sind in der Tat auf Mediation angewiesen, um die Daten zunächst zu konvertieren und anzureichern, da sie die rohen, binären ASN.1-Formate nicht selbst verarbeiten können. Der Grund dafür ist, dass ASN.1 darauf ausgelegt ist, maschinell erzeugte Daten für die Übermittlung an einen unspezifischen, nachgeschalteten Prozessor streng zu kodieren. Die Vermittlung ist notwendig, weil die Prozessoren unbekannt sind und weil die Datensätze strukturiert, mit Makros versehen und nicht für den Menschen lesbar sind.

In Rohform können CDR-Daten im Allgemeinen mehr als 700 Felder enthalten, die im tatsächlichen Laufzeitstrom erscheinen können oder auch nicht. Aber auch hier sind die Zeichenketten und Werte in Oktetten kodiert, die für Menschen nicht lesbar sind.

Bis jetzt! CoSort bietet die direkte Unterstützung für die Verarbeitung jeder ASN.1 kodierten Datei im Sort Control Language (SortCL) Datenmanipulationsprogramm des Unternehmens. Dies ermöglicht SortCL-kompatiblen Programmbenutzern (in Voracity, CoSort, FieldShield, NextForm und RowGen), Daten wie native ASN.1 CDRs direkt zur Laufzeit zu verarbeiten – ohne vorherige Vermittlung.

Alle technischen Detals sind hier im Blog von IRI zu finden, wir helfen Ihnen gerne bei Fragen!

Weltweite Referenzen: Seit über 40 Jahren nutzen unsere Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Commerzbank, Lufthansa, Mercedes Benz, Osram,.. aktiv unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer weltweiten Referenzen hier und eine Auswahl deutscher Referenzen hier.

Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software GmbH besitzt die deutschen Vertriebsrechte für diese Produkte. Weitere Details zu unserem Partner IRI Inc. hier.

• • 
    Dieses Bild aus IRI Workbench zeigt eine Visualisierung des Mappings und der Transformationen, die an den Daten von der ursprünglichen Eingabe bis zur Ausgabe durchgeführt werden. Dieses Beispiel zeigt einen Auftrag, der grundlegende Berichte von Rohdaten, die durch ein TAP3-Schema kodiert sind, in lesbare Ausgaben in Text- und XLSX-Dateiformaten umwandelt.
• • 
    Voracity ist eine End-to-End-Datenmanagement-Plattform, die auf Eclipse basiert und von CoSort oder Hadoop für die Erkennung, Integration, Migration, Governance und Analyse von großen + kleinen, un- + strukturierten lokalen oder Cloud-Daten unterstützt wird. DW/BI, DB/Test und Compliance (z.B. GDPR) Architekten in jeder Branche verwenden Voracity, um zu klassifizieren, zu suchen, zu transformieren, zu reinigen, zu maskieren, zu verschieben, zu berichten, zu analysieren plus Testdatengenerierung!
• • 
    IRI Voracity ist die einzige organisch gewachsene, vollständig integrierte Datenlebenszyklus-Management-Plattform und Manipulationskraftpaket für große und kleine Daten. Es ist auch der einzige BI/DW- und Data Governance-Stack, der auf CoSort und nahtlos integrierten Hadoop-Engines basiert. Und es wird in einer kostenlosen, vertrauten Eclipse-GUI für ergonomisches Jobdesign, -bereitstellung und -management unterstützt.
• • 
    Die preisgekrönte datenzentrische ("Startpoint") Sicherheitssoftware von IRI hat sich in einer Vielzahl von Umgebungen zur Aufhebung von Verstößen, Einhaltung des Datenschutzes und DevOps (Testdaten) wiederholt bewährt. Verwenden Sie zweckmäßige IRI-Datenschutzprodukte oder die umfassende IRI Voracity-Plattform, um sensible Daten zu finden und zu maskieren - egal in welcher Form und wo sie sich befinden - und um zu beweisen, dass Sie sie geschützt haben.

Weiterführende Links

• Originalmeldung von JET-Software GmbH
• Alle Meldungen von JET-Software GmbH