EEMBC entwickelt Benchmark für KI-Einsatz auf Endgeräten

Anbieter zum Thema

MicroConsult Microelectronics Consulting & Training GmbH

Axivion GmbH

Parasoft® Deutschland GmbH

EEMBC Embedded Microprocessor Benchmark Consortium

Die Industrieallianz für Embedded Systeme EEMBC entwickelt eine Machine-Learning-Benchmark, die speziell die Leistung von KI in der Inferenz bemessen soll - die Phase, in der trainierte Neuronale Netzwerke auf Endhardware eingesetzt wird.

Vergangenen Monat hatten Baidu und Google die auf Machine Learning abzielende Benchmark MLPerf vorgestellt, die ab August zugänglich sein soll. Diese möchte bewerten, wie effizient Hardware zum Trainieren einer Künstlichen Intelligenz wirklich ist. Dieses Training erfolgt meist in Rechenzentren mit besonders leistungsstarker Hardware - Faktoren wie Energieeffizienz, die auf Endgeräten enorm wichtig sind, besitzen hier kaum Bedeutung.

Das Embedded Microprocessor Benchmark Consortium (EEMBC) arbeitet dagegen an einer anderen Art von Machine Learning Benchmark: Diese soll sich speziell auf Chips und Hardwarelösungen konzentrieren, die in strombegrenzten Embedded Systemen zum Einsatz kommen. Bei dieser Benchmark geht es also nicht um die Trainings-, sondern um die Inferenz-Phase eines Neuronalen Netzwerks: Salopp gesagt dem Punkt, an dem KI im Endgerät zum Einsatz kommt.

Die KI-Arbeitsgruppe von EEMBC konzentriert sich entsprechend Chips für intelligente Lautsprecher, Edge Nodes und Gateways für das Internet der Dinge und andere eingebettete Systeme. Damit sollen unter anderem Lösungen wie die Cadence Vision P6 DSP oder NVIDIA NVDLA, das seit neuesten in KI-Prozessoren von ARM integriert wird, verglichen und bewertet werden können.

Die Bemühungen um eine eigene Machine Learning Benchmark ist als Nebenprojekt aus der geplanten Benchmark für ADAS-Systeme hervorgegangen, die der EEMBC im Juni diesen Jahres vorstellen möchte. "Als wir den ADAS-Benchmark aufbauten, fanden wir am Ende von Seiten von Ingenieuren ein zunehmendes Interesse an neuronalen Netzwerken, nachdem sie gezwungen waren, diesen sehr komplexen Raum zu erlernen", sagte Peter Torelli, der kürzlich Präsident des EEMBC wurde.

Bisher hat die Arbeitsgruppe zur Machine Learning Benchmark Suite etwa ein Dutzend Mitglieder von Herstellern von Embedded-Prozessoren wie Arm, Analog Devices, Intel, Nvidia, NXP, Samsung, STMicroelectronics und Texas Instruments. Ihre Aufgabe ist es, eine Vielzahl von neuronalen Netzarten und möglichen Anwendungsfällen derselben zu erfassen. "Wir suchen nach mehr Input, insbesondere von Geräteherstellern und OEMs, die Komponenten auswählen, um sicherzustellen, dass sie diese nutzen können", sagt Torelli. "Wir müssen auch herausfinden, welche Netzwerkarchitekturen wichtig sind und welche bis an den Rand (Edge) portierbar sind."

Der Benchmark zielt darauf ab, die reine Inferenzleistung sowie die Zeit für das Aufspielen eines neuronalen Netzmodells zu messen. Die Gruppe hofft auch, dass sie einen Weg definieren kann, um die Energieeffizienz der Aufgaben auf standardisierte Weise zu messen. Nutzern soll es möglich sein, beliebige Frameworks oder Laufzeiten zu übernehmen, um die Optimierung ihrer gewählten Hardware-Lösung zur KI-Inferenz zu maximieren.

Aktuell wird für die Machine Learning Benchmark Suite noch ein erstes Proof of Concept definiert. Bis Juni 2019 möchte das Konsortium allerdings eine nutzbare Benchmark präsentieren können.

MLPerf: Neue Benchmark misst KI-Performance

(ID:45320756)