MLPerf Inference 0.5 MLPerf Inference 0.5: Erste Benchmark für KI-Inferenz veröffentlicht

Anbieter zum Thema

RTI Real-Time Innovations

Das MLPerf Konsortium, ein Zusammenschluss aus 40 in der KI-Forschung tätigen Unternehmen und Universitäten, hat mit MLPerf Inference 0.5 die weltweit erste Benchmark veröffentlicht, die die Leistung von KI in Servern und Endgeräten bestimmen soll.

Im August 2018 hatte sich das MLPerf Consortium formiert, um eine herstellerunabhängige Benchmark zu entwickeln, die die tatsächliche Leistung von KI-Algorithmen und Bausteinen bewerten soll. Nun hat die Allianz mit MLPerf Inference 0.5 erstmals eine Benchmark zur Messung von Inferenz-Aufgaben auf Servern und Clientsystemen vorgestellt. Tools zum Ausführen von MLPerf Inference v0.5 stehen nun auf der Website des MLPerf Konsortiums zur Verfügung.

„MLPerf Inference v0.5 verwendet eine Kombination aus sorgfältig ausgewählten Modellen und Datensätzen, um sicherzustellen, dass die Ergebnisse für die Praxis relevant sind“, heißt es in einem Statement des MLPerf-Konsortiums „Sie wird die Innovation in Wissenschaft und Forschung anregen und den Stand der Technik vorantreiben.“ Aufgabe der Benchmark-Suite ist es, zu ermitteln, wie schnell ein trainiertes neuronales Netzwerk neue Daten verarbeiten kann, um nützliche Erkenntnisse zu liefern.

Leistungsermittlung von fünf verschiedenen KI-Anwendungsmodellen

Wie die Einrichtung angibt, umfasst die Benchmark-Suite Tests für insgesamt fünf KI-Modelle für unterschiedliche Anwendungen. Sie bestehen aus zwei Tests zur Bildklassifizierung, zwei zur Objekterkennung und einem für maschinelle Übersetzung. Verwendet wird diese Art von Modellen unter anderem für Autonomes Fahren und in der Verarbeitung von Bildern und Erkennung natürlicher Sprache in unterschiedlichen Endgeräten wie z.B. Smartphones, PCs, Edge-Server und Cloud-Computing-Plattformen im Rechenzentrum. Zu all diesen Tests bietet MLPerf jeweils ein vordefiniertes Modell und einen vorausgewählten Datensatz.

MLPerf bietet zudem Beispiels-Implementierungen der Benchmarks zu Referenzzwecken. Hiermit lassen sich die Anwendung, das Modell und das Qualitätsziel definieren und Anweisungen zur Ausführung des Codes erteilen. Die Referenzimplementierungen sind in den Frameworks ONNX, PyTorch und TensorFlow verfügbar.

Energiebedarf in unterschiedlichen Stadien maßgeblicher Faktor

Die Benchmarks messen sowohl den durchschnittlichen aktiven Strombedarf während der Inferenzausführung als auch den der aktiven Leerlaufleistung, die besteht, während das System auf Inferenzabfragen wartet. Enthalten sind zudem mehrere Metriken zur Beschreibung der Rohleistung (raw performance), die für verschiedene Szenarien spezifisch ist, sowie Regeln für deren Anwendung.

Gegenüber der EE Times sagte David Kanter, einer der Vorstände des MLPerf Consortiums, dass die enthaltenen Metriken auf „viele, aber nicht alle eingebetteten Systeme“ abziele. „Unser Lastgenerator (load generator) ist in C++ anstelle von Python geschrieben, was den Betrieb auf ressourcenbeschränkteren Systemen ermöglicht,“ gibt Kanter weiter an. „Es gibt jedoch wahrscheinlich einige Plattformen, die aus Kosten- und Leistungsgründen so klein oder spezialisiert sind, dass sie unseren Lastgenerator oder unsere Netzwerke nicht betreiben können. Zum Beispiel haben wir keinen geeigneten Benchmark für ein System, das nur Wake-on-Word-Erkennung betreibt.“

Zuvor hatte MLPerf bereits die Begleit-Benchmark-Suite MLPerf Training v0.5 veröffentlicht. Diese erhebt 29 verschiedene Parameter, anhand derer die Leistung moderner Systeme zum Training tiefer neuronaler Netze (Deep Neural Networks, DNN) ermittelt werden kann.

EEMBC entwickelt Benchmark für KI-Einsatz auf Endgeräten

Welche Hardware eignet sich besser zur KI-Beschleunigung?

(ID:45989161)