Ein Angebot von

MLPerf Inference 0.5: Erste Benchmark für KI-Inferenz veröffentlicht

| Redakteur: Sebastian Gerstl

Mit MLPerf Inference 0.5 hat das MLPerf-Konsortium erstmals Benchmarks zur Ermittlung von KI-Inferenz auf Servern und Clientsystemen anhand fünf messbarer Metriken vorgestellt.
Mit MLPerf Inference 0.5 hat das MLPerf-Konsortium erstmals Benchmarks zur Ermittlung von KI-Inferenz auf Servern und Clientsystemen anhand fünf messbarer Metriken vorgestellt. (Bild: gemeinfrei / Pixabay)

Das MLPerf Konsortium, ein Zusammenschluss aus 40 in der KI-Forschung tätigen Unternehmen und Universitäten, hat mit MLPerf Inference 0.5 die weltweit erste Benchmark veröffentlicht, die die Leistung von KI in Servern und Endgeräten bestimmen soll.

Im August 2018 hatte sich das MLPerf Consortium formiert, um eine herstellerunabhängige Benchmark zu entwickeln, die die tatsächliche Leistung von KI-Algorithmen und Bausteinen bewerten soll. Nun hat die Allianz mit MLPerf Inference 0.5 erstmals eine Benchmark zur Messung von Inferenz-Aufgaben auf Servern und Clientsystemen vorgestellt. Tools zum Ausführen von MLPerf Inference v0.5 stehen nun auf der Website des MLPerf Konsortiums zur Verfügung.

„MLPerf Inference v0.5 verwendet eine Kombination aus sorgfältig ausgewählten Modellen und Datensätzen, um sicherzustellen, dass die Ergebnisse für die Praxis relevant sind“, heißt es in einem Statement des MLPerf-Konsortiums „Sie wird die Innovation in Wissenschaft und Forschung anregen und den Stand der Technik vorantreiben.“ Aufgabe der Benchmark-Suite ist es, zu ermitteln, wie schnell ein trainiertes neuronales Netzwerk neue Daten verarbeiten kann, um nützliche Erkenntnisse zu liefern.

Leistungsermittlung von fünf verschiedenen KI-Anwendungsmodellen

Wie die Einrichtung angibt, umfasst die Benchmark-Suite Tests für insgesamt fünf KI-Modelle für unterschiedliche Anwendungen. Sie bestehen aus zwei Tests zur Bildklassifizierung, zwei zur Objekterkennung und einem für maschinelle Übersetzung. Verwendet wird diese Art von Modellen unter anderem für Autonomes Fahren und in der Verarbeitung von Bildern und Erkennung natürlicher Sprache in unterschiedlichen Endgeräten wie z.B. Smartphones, PCs, Edge-Server und Cloud-Computing-Plattformen im Rechenzentrum. Zu all diesen Tests bietet MLPerf jeweils ein vordefiniertes Modell und einen vorausgewählten Datensatz.

MLPerf bietet zudem Beispiels-Implementierungen der Benchmarks zu Referenzzwecken. Hiermit lassen sich die Anwendung, das Modell und das Qualitätsziel definieren und Anweisungen zur Ausführung des Codes erteilen. Die Referenzimplementierungen sind in den Frameworks ONNX, PyTorch und TensorFlow verfügbar.

Energiebedarf in unterschiedlichen Stadien maßgeblicher Faktor

Die Benchmarks messen sowohl den durchschnittlichen aktiven Strombedarf während der Inferenzausführung als auch den der aktiven Leerlaufleistung, die besteht, während das System auf Inferenzabfragen wartet. Enthalten sind zudem mehrere Metriken zur Beschreibung der Rohleistung (raw performance), die für verschiedene Szenarien spezifisch ist, sowie Regeln für deren Anwendung.

Gegenüber der EE Times sagte David Kanter, einer der Vorstände des MLPerf Consortiums, dass die enthaltenen Metriken auf „viele, aber nicht alle eingebetteten Systeme“ abziele. „Unser Lastgenerator (load generator) ist in C++ anstelle von Python geschrieben, was den Betrieb auf ressourcenbeschränkteren Systemen ermöglicht,“ gibt Kanter weiter an. „Es gibt jedoch wahrscheinlich einige Plattformen, die aus Kosten- und Leistungsgründen so klein oder spezialisiert sind, dass sie unseren Lastgenerator oder unsere Netzwerke nicht betreiben können. Zum Beispiel haben wir keinen geeigneten Benchmark für ein System, das nur Wake-on-Word-Erkennung betreibt.“

Zuvor hatte MLPerf bereits die Begleit-Benchmark-Suite MLPerf Training v0.5 veröffentlicht. Diese erhebt 29 verschiedene Parameter, anhand derer die Leistung moderner Systeme zum Training tiefer neuronaler Netze (Deep Neural Networks, DNN) ermittelt werden kann.

Basiswissen Künstliche Intelligenz und Maschinelles Lernen

Künstliche Intelligenz in der Industrie

Basiswissen Künstliche Intelligenz und Maschinelles Lernen

Was ist der Unterschied zwischen künstlicher Intelligenz, maschinellem Lernen und einem neuronalen Netz? Wie lernt eine Maschine? Und welchen Nutzen bringt der Einsatz von KI-Technologie in der Industrie? Die Antworten finden Sie in diesem Dossier. weiter...

EEMBC entwickelt Benchmark für KI-Einsatz auf Endgeräten

EEMBC entwickelt Benchmark für KI-Einsatz auf Endgeräten

24.05.18 - Die Industrieallianz für Embedded Systeme EEMBC entwickelt eine Machine-Learning-Benchmark, die speziell die Leistung von KI in der Inferenz bemessen soll - die Phase, in der trainierte Neuronale Netzwerke auf Endhardware eingesetzt wird. lesen

Welche Hardware eignet sich besser zur KI-Beschleunigung?

Welche Hardware eignet sich besser zur KI-Beschleunigung?

04.06.18 - Moderne Hardwarebeschleuniger haben den praktikablen Einsatz von Künstlicher Intelligenz in IT und Industrie in greifbare Nähe gerückt. Doch welche Technologie eignet sich hierfür besser: GPUs, DSPs, programmierbare FPGAs oder eigene, dedizierte Prozessoren? ELEKTRONIKPRAXIS hat Hardwarehersteller und Embedded-Experten zu diesem Thema befragt. lesen

Kommentar zu diesem Artikel abgeben

Schreiben Sie uns hier Ihre Meinung ...
(nicht registrierter User)

Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
Kommentar abschicken
copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45989161 / KI)