Ein Angebot von

Big Data und Deep Learning

So spürt Deep Learning Datenmuster auf

| Autor / Redakteur: Michael Matzer / Nico Litzel

Technologien: GPUs

Dass Deep Learning heutzutage vor allem in Rechenclustern abläuft, liegt, wie gesagt, an der benötigten Rechenleistung: Die Aufgabe wird auf viele verschiedene Rechner verteilt. Mit „Rechner“ sind allerdings zunehmend nicht mehr CPUs gemeint, sondern Grafikprozessoren – GPUs. Sie sind bislang viel besser in der Lage gewesen, Parallelverarbeitung zu erledigen.

Wie Greg Diamos schon erwähnte, ist bei einem Faktor 2.500 zwischen dem IST-Zustand und dem potenziellen Maximum noch eine Menge Luft nach oben. „Das Ziel unserer Arbeit besteht darin, die Skalierbarkeit im Hinblick auf das Trainieren unserer RNNs zu erhöhen, um diese Lücke zu schließen“, sagte er im Interview. Diamos kommt vom GPU-Hersteller Nvidia und kennt sich mit deren Mehrkern-Technik bestens aus.

„Wir gehen so vor, dass wir GPUs auf kleinen Arbeitseinheiten 30-mal effizienter machen, was eine höhere Skalierung erlaubt. Wir erzielen eine 16-fache Steigerung der ,starken' Skalierung, wenn wir von acht GPUs, die nicht unsere Technologie aufweisen, auf 128 GPUs umsteigen, die unsere Technologie besitzen. Unsere Implementierungen von 128 GPUs erhalten einen Zuwachs an Gleitkommarechenleistung (FLOP/s) aufrecht, verglichen mit 31 Prozent auf einer einzelnen GPU.“

Statt also durch Verteilung auf 128 GPUs an skalierbarer Leistung einzubüßen, sieht Diamos fast die gleiche Leistung wie auf einer Einzel-GPU. Er hoffe auf die Entwicklung eines Prozessors (CPU oder GPU), der die Leistung von 10 PetaFLOP/s bei einem Energieverbrauch von 300 Watt/h erbringt – oder die Leistung von 150 ExaFLOP/s bei 25 Megawatt/h. Alle am Supercomputing beteiligten Nationen, von der Schweiz bis Südafrika, sind an dieser Optimierung beteiligt. Der Stand der Dinge wird halbjährlich in der Top-500-Liste aktualisiert, die seit 2016 auch die energieeffizientesten Systeme aufführt.

Technologien: Cluster

Wie schon erwähnt, spielen Cluster eine zentrale Rolle im DL-relevanten Trainieren von Neuronalen Netzen. „Die Skalierung des Trainings auf große Clusters ermöglicht das Training von größeren Neuronalen Netzwerken für umfangreichere Datenmengen, als mit irgendeiner anderen Technologie möglich wäre“, fasst Diamos die Lage zusammen.

Glücklicherweise muss kein DL-Forscher mehr einen NN-Cluster selbst bauen, um eine DL-Framework programmieren zu können. Caffe ist ein in der Open-Source-Gemeinde verbreitet genutztes DL-Framework des Berkeley Vision and Learning Center (BVLC). Sowohl Intel als auch IBM haben es in ihre jeweiligen AI-Plattformen integriert. Caffe kann mit einer einzigen K40-GPU von Nvidia über 60 Millionen Bilder pro Tag verarbeiten. Das entspricht einer Millisekunde (ms) pro Bild für die Inferenz (Vorgabe des vermuteten Befundes) und 4 ms/Bild für die Lernphase.

Doch Caffe muss auf einem Cluster implementiert werden, um leistungsfähig zu sein. Die Universität von Toronto hat 2012 mit AlexNet [PDF] einen Durchbruch erzielt, wobei für die Bilderkennung wie bei Caffe GPUs genutzt wurden. Diese Leistung gilt heute zusammen mit Caffe und ImageNet als Benchmark.

Mittlerweile sind eine Reihe weiterer Neural Network Cluster entstanden, und der Interessent sollte sich informieren, welche überhaupt von seinem bevorzugten Technologielieferanten unterstützt werden. Sie tragen fantasievolle Namen wie Theano, TensorFlow, Torch sowie Apache Singa. Es kann durchaus sein, dass ein Hersteller sein eigenes Süppchen kocht. Das zeigt sich bei den Ankündigungen von Mitte November 2016.

Inhalt des Artikels:

Kommentar zu diesem Artikel abgeben

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 44443137 / KI)