Microsoft und Cloudera treiben Open-Source-Projekt Livy zum einfacheren Einsatz von Spark in Anwendungen voran

Cloudera arbeitet eng mit Microsoft zusammen, um Anwendungsentwicklern die Arbeit mit Spark zu erleichtern. Die Unternehmen haben daher gemeinsam mit weiteren Open-Source-Partnern einen neuen, Apache-lizenzierten und REST-basierten Open-Source-Service mit der Bezeichnung Livy entwickelt.

Livy sorgt für eine einfache Schnittstelle von Applikationen zu Spark, übermittelt Jobs und ruft programmatisch Resultate ab. Im Kern besteht Livy aus einem REST-Server für die Übermittlung, den Betrieb und das Management von Spark-Jobs und Spark-Kontexten. Seine Client-API ermöglicht die fein justierte Auftragserteilung in Spark sowie das synchrone und asynchrone Abrufen von Ergebnissen. Clients können Spark wie einen mandantenfähigen Service nutzen und müssen sich keine Gedanken um Deployment, Konfiguration oder Monitoring machen. Livy macht aus Spark einen mandantenfähigen Service mit isolierten Sitzungen, Sicherheitsmaßnahmen und Nutzeridentitäten.

Zu den Vorzügen von Livy gehören:

• Weniger Reibungsverluste beim Einsatz von Spark – Spark-Clients müssen nicht erst einen Installations- oder Konfigurationsprozess durchlaufen. Für die Kommunikation mit einem http-Endpunkt wird lediglich ein leichtgewichtiger Client benötigt.

• Einsatz von Spark durch Drittanwendungen – Applikationen können mit REST-basierten Client-APIs in Java, Scala oder Python die vollumfängliche Auftragserteilung und Ergebnisabfrage in Spark sowie das Management von Spark-Kontexten weiterentwickeln (Client-APIs für Scala und Python befinden sich derzeit noch in der Entwicklung). Spark lässt sich von Applikationen auf Basis verschiedener Code-Frameworks ansteuern, wie Django für Python bzw. Play für Scala oder Java. Außerdem lässt sich Livy – weil es auf REST basiert – mit wenig Aufwand auch für Applikationen nutzbar machen, die in Sprachen wie Node.js oder Go geschrieben sind.

• Ermöglichung neuer Software-Architekturen – Livy vereinfacht die Spark-Integration in serviceorientierte oder Microservices-basierte Architekturen, die primär über REST interagieren.

„Microsoft konzentriert sich auf die Vereinfachung von Big Data und moderner Analytik, um Technologien wie Apache Hadoop und Spark für jeden verfügbar zu machen“, sagt Tiffany Wissner, leitende Direktorin für Data Platform Marketing bei Microsoft. “Die Zusammenarbeit im Projekt Livy vereinfacht die Interaktion mit Spark für Entwickler durch einen REST-Webservice und bereitet Spark für den Einsatz in Unternehmen vor, als robustes Backend zum Betrieb von interaktiven Notebooks.“

„Wir beobachten bei unseren Kunden und Partnern die natürliche Tendenz, Entwicklungsmöglichkeiten von Spark hinsichtlich Client-Anwendungen mit einfachen Spark-Schnittstellen für sich nutzbar machen zu wollen, und Livy ermöglicht ihnen das“, so Anand Iyer, Senior Product Manager bei Cloudera. „Livy öffnet Spark für neue Anwendungsfälle und wir hoffen, dass es eine Entwickler-Community anzieht, die nicht nur Anwendungen auf Livy aufbaut, sondern auch zum Entwicklungsprozess beiträgt und dabei hilft, die API und die Funktionalität zu verbessern. Das Projekt ist immer noch im Entstehen, daher hat jeder Beitrag enorme Auswirkungen.“

Kontakt mit Cloudera

Lesen Sie unsere Blogs: cloudera.com/engblog und vision.cloudera.com
Folgen Sie uns auf Twitter: twitter.com/clouderade
Besuchen Sie uns auf Facebook: facebook.com/cloudera
Treten Sie der Cloudera Community bei: cloudera.com/community

Public Footprint GmbH
Web: www.public-footprint.de