Ein Angebot von

MLPerf: Neue Benchmark misst KI-Performance

| Redakteur: Sebastian Gerstl

Um die Leistung neuer Hardware zur KI-Beschleunigen einschätzen und vergleichen zu können, präsentieren Google, Baidu sowie die Universitäten Stanford und Harvard ab August eine gemeinsam entwickelte Benchmark-Suite.
Um die Leistung neuer Hardware zur KI-Beschleunigen einschätzen und vergleichen zu können, präsentieren Google, Baidu sowie die Universitäten Stanford und Harvard ab August eine gemeinsam entwickelte Benchmark-Suite. (Bild: Clipdealer)

Google, Baidu sowie Forscher der Universitäten Harvard und Stanford haben eine Benchmark zum Messen der Leistung von maschinellem Lernen definiert. Ein erster Release der MLPerf genannten Suite ist für August vorgesehen.

Google und Baidu haben gemeinsam mit Forschern in Harvard und Stanford eine Reihe von Benchmarks für maschinelles Lernen definiert. Wie das Fachplatt EETimes meldet, haben bereits AMD, Intel, zwei KI-Startups und zwei weitere Universitäten ihre Unterstützung für MLPerf zum Ausdruck gebracht.

Die Leistung moderner Hardware, insbesondere dedizierten Hardware-Beschleunigern für KI, hat einen neuen Trend für so genannte neuronale Netzwerke ausgelöst. Eine Flut von neuen Beschleunigern auf unterschiedlichster Hardware-Basis - von FPGAs zu DSPs oder GPUs bis hin zu dedizierten Prozessoren - kommt auf den Markt. Allerdings der Industrie fehlen Möglichkeiten, deren Performance zu messen oder adäquat zu vergleichen.

Um die Lücke zu schließen, konzentriert sich das erste Release von MLPerf auf Trainingsjobs auf verschiedenen Systemen, von Workstations bis hin zu großen Rechenzentren, was für Web-Giganten wie Baidu und Google eine große Herausforderung darstellt. Spätere Versionen werden um Inferenzjobs erweitert, eventuell auch um solche, die auf eingebetteten Clientsystemen laufen.

"Ein Modell zu trainieren, das wir wirklich laufen lassen wollen, würde alle GPUs, die wir für zwei Jahre haben, benötigen", sagte Greg Diamos, ein leitender Forscher in Baidus Deep-Learning-Gruppe, und gab ein Beispiel für das Problem für Web-Giganten.

Erste Vorab-Version ab August einsatzbereit

"Wenn Systeme schneller werden, können wir das Potenzial des maschinellen Lernens viel schneller erschließen", sagte Peter Mattson, ein Mitarbeiter des Google Brain-Projekts, der MLPerf auf einer Veranstaltung am 2. Mai ankündigte.

Eine frühe Version der Suite, die auf einer Vielzahl von KI-Frameworks läuft, soll in etwa drei Monaten einsatzbereit sein. Damals wollten die Organisatoren eine Arbeitsgruppe einberufen, um eine vollständigere Fassung zu erarbeiten.

"Wir nennen es zunächst Version 0.5. Wir haben das mit einem kleinen Team gemacht, und jetzt wollen wir, dass die Community einer Version 1.0 ihren Stempel aufdrückt, um etwas zu sein, das jeder besitzt", sagte Mattson. "Wir ermutigen Feedback [...] um Workloads, Benchmark-Definitionen und Ergebnisse vorzuschlagen, damit wir den Benchmark schnell iterieren können".

Prüfmechanismen der KI-Benchmark MLPerf

Zunächst wird MLPerf die durchschnittliche Zeit messen, um ein Modell auf ein Minimum an Qualität zu trainieren, wahrscheinlich in Stunden. Da diese Jobs auf großen Serverbänken laufen, kann es sein, dass sie keine Leistung pro Watt melden. Sie berücksichtigt die Kosten von Aufträgen, solange der Preis nicht über die Tageszeit variiert.

Der P100 Volta Chip von Nvidia wird ein Referenzstandard sein, da er in vielen Rechenzentren für Schulungen eingesetzt wird. Die Gruppe beabsichtigt, die veröffentlichten Ergebnisse alle drei Monate zu aktualisieren.

MLPerf wird zwei Modi verwenden. Eine geschlossene Metrik für gewerbliche Anwender spezifiziert das zu verwendende Modell und den Datensatz und schränkt die Werte von Schlüsselparametern wie z.B. die Losgröße ein. Eine offene Metrik, die sich an Forscher richtet, wird weniger Restriktionen anwenden, so dass die Nutzer mit neuen Ansätzen experimentieren können.

Maschinelles Lernen mit FPGAs

Maschinelles Lernen mit FPGAs

11.09.17 - Das Interesse am maschinellen Lernen wächst derzeit rasant. Obwohl in den vergangenen Jahren einige sehr erfolgreiche Ansätze entstanden sind, besteht noch viel Raum für Neuerungen. FPGAs bieten Entwicklern hier die Vorteile einer dedizierten Hardware und bieten einen flexiblen Weg hin zu effizienten systemischen Implementierungen lesen

Kommentar zu diesem Artikel abgeben

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 45285349 / KI)