Microsoft und Cloudera treiben Open-Source-Projekt Livy zum einfacheren Einsatz von Spark in Anwendungen voran

Veröffentlicht am von

Open-Source-Projekt Livy vereinfacht die Spark-Nutzung für Anwendungs-Entwickler und Data Scientists / besuchen Sie Cloudera auf der TDWI-Konferenz vom 20. - 22. Juni in München

Pressemeldung der Firma Cloudera

Cloudera arbeitet eng mit Microsoft zusammen, um Anwendungsentwicklern die Arbeit mit Spark zu erleichtern. Die Unternehmen haben daher gemeinsam mit weiteren Open-Source-Partnern einen neuen, Apache-lizenzierten und REST-basierten Open-Source-Service mit der Bezeichnung Livy entwickelt.

Livy sorgt für eine einfache Schnittstelle von Applikationen zu Spark, übermittelt Jobs und ruft programmatisch Resultate ab. Im Kern besteht Livy aus einem REST-Server für die Übermittlung, den Betrieb und das Management von Spark-Jobs und Spark-Kontexten. Seine Client-API ermöglicht die fein justierte Auftragserteilung in Spark sowie das synchrone und asynchrone Abrufen von Ergebnissen. Clients können Spark wie einen mandantenfähigen Service nutzen und müssen sich keine Gedanken um Deployment, Konfiguration oder Monitoring machen. Livy macht aus Spark einen mandantenfähigen Service mit isolierten Sitzungen, Sicherheitsmaßnahmen und Nutzeridentitäten.

Zu den Vorzügen von Livy gehören:

Weniger Reibungsverluste beim Einsatz von Spark – Spark-Clients müssen nicht erst einen Installations- oder Konfigurationsprozess durchlaufen. Für die Kommunikation mit einem http-Endpunkt wird lediglich ein leichtgewichtiger Client benötigt.

Einsatz von Spark durch Drittanwendungen – Applikationen können mit REST-basierten Client-APIs in Java, Scala oder Python die vollumfängliche Auftragserteilung und Ergebnisabfrage in Spark sowie das Management von Spark-Kontexten weiterentwickeln (Client-APIs für Scala und Python befinden sich derzeit noch in der Entwicklung). Spark lässt sich von Applikationen auf Basis verschiedener Code-Frameworks ansteuern, wie Django für Python bzw. Play für Scala oder Java. Außerdem lässt sich Livy – weil es auf REST basiert – mit wenig Aufwand auch für Applikationen nutzbar machen, die in Sprachen wie Node.js oder Go geschrieben sind.

Ermöglichung neuer Software-Architekturen – Livy vereinfacht die Spark-Integration in serviceorientierte oder Microservices-basierte Architekturen, die primär über REST interagieren.

„Microsoft konzentriert sich auf die Vereinfachung von Big Data und moderner Analytik, um Technologien wie Apache Hadoop und Spark für jeden verfügbar zu machen“, sagt Tiffany Wissner, leitende Direktorin für Data Platform Marketing bei Microsoft. “Die Zusammenarbeit im Projekt Livy vereinfacht die Interaktion mit Spark für Entwickler durch einen REST-Webservice und bereitet Spark für den Einsatz in Unternehmen vor, als robustes Backend zum Betrieb von interaktiven Notebooks.“

„Wir beobachten bei unseren Kunden und Partnern die natürliche Tendenz, Entwicklungsmöglichkeiten von Spark hinsichtlich Client-Anwendungen mit einfachen Spark-Schnittstellen für sich nutzbar machen zu wollen, und Livy ermöglicht ihnen das“, so Anand Iyer, Senior Product Manager bei Cloudera. „Livy öffnet Spark für neue Anwendungsfälle und wir hoffen, dass es eine Entwickler-Community anzieht, die nicht nur Anwendungen auf Livy aufbaut, sondern auch zum Entwicklungsprozess beiträgt und dabei hilft, die API und die Funktionalität zu verbessern. Das Projekt ist immer noch im Entstehen, daher hat jeder Beitrag enorme Auswirkungen.“

Kontakt mit Cloudera

Lesen Sie unsere Blogs: cloudera.com/engblog und vision.cloudera.com

Folgen Sie uns auf Twitter: twitter.com/clouderade

Besuchen Sie uns auf Facebook: facebook.com/cloudera

Treten Sie der Cloudera Community bei: cloudera.com/community

Public Footprint GmbH

Web: www.public-footprint.de



Firmenkontakt und Herausgeber der Meldung:
Cloudera
1001 Page Mill Road
94304 Palo Alto, California
Telefon: +1 (650) 64439000
Telefax: nicht vorhanden
http://www.cloudera.com

Cloudera bietet eine zeitgemäße Plattform für Datenmanagement und -analyse auf Basis von Apache Hadoop sowie den neuesten Open Source-Technologien. Weltweit führende Unternehmen vertrauen auf Cloudera, um mit Unterstützung von Cloudera Enterprise - der schnellsten, einfachsten und sichersten Datenplattform der Gegenwart - ihre wichtigsten geschäftlichen Herausforderungen zu meistern. Unsere Kunden erfassen, speichern, verarbeiten und analysieren auf effiziente Weise gewaltige Datenmengen und nutzen fortschrittliche Analysemethoden, um Unternehmensentscheidungen schneller, flexibler und kostengünstiger als je zuvor treffen zu können. Auf dem Weg zum Erfolg bieten wir unseren Kunden umfassenden Support, Schulungen und andere professionelle Services. Weitere Informationen finden Sie unter http://cloudera.com.


Weiterführende Links

Für die oben stehende Pressemitteilung ist allein der jeweils angegebene Herausgeber (siehe Firmenkontakt oben) verantwortlich. Dieser ist in der Regel auch Urheber des Pressetextes, sowie der angehängten Bild-, Ton-, Video-, Medien- und Informationsmaterialien. Die Huber Verlag für Neue Medien GmbH übernimmt keine Haftung für die Korrektheit oder Vollständigkeit der dargestellten Meldung. Auch bei Übertragungsfehlern oder anderen Störungen haftet sie nur im Fall von Vorsatz oder grober Fahrlässigkeit. Die Nutzung von hier archivierten Informationen zur Eigeninformation und redaktionellen Weiterverarbeitung ist in der Regel kostenfrei. Bitte klären Sie vor einer Weiterverwendung urheberrechtliche Fragen mit dem angegebenen Herausgeber. Eine systematische Speicherung dieser Daten sowie die Verwendung auch von Teilen dieses Datenbankwerks sind nur mit schriftlicher Genehmigung durch die Huber Verlag für Neue Medien GmbH gestattet.