Künstliche neuronales Netzwerk Mit einem Neuron ein lernfähiges Netzwerk bauen

Ein neuronales Netzwerk aus nur einem aus Software programmierten Neuron bietet eine Rechenleistung wie tausend verknüpfter Knoten. Das so entstandene Neuron nimmt nacheinander die Rolle verschiedener Knoten ein.

Anbieter zum Thema

Neuronen im Hirn: Forscher haben ein neuronales Netz aus Tausenden von Nervenzellen in einem Computer simuliert. Das Neuron ist erstmals aus Softwarecode entstanden.
Neuronen im Hirn: Forscher haben ein neuronales Netz aus Tausenden von Nervenzellen in einem Computer simuliert. Das Neuron ist erstmals aus Softwarecode entstanden.
(Bild: © Matthieu Louis – adobe.stock.com)

Ein künstliches neuronales Netz (KNN) ist dem menschliche Gehirn nachempfunden. Im Gehirn sind etwa 86 Mrd. Nervenzellen. Die Neuronen sind per Synapsen miteinander verbunden und kommunizieren durch elektrische und chemische Signalübertragung. Das KNN wird für maschinelles Lernen und künstliche Intelligenz eingesetzt. Mit ihrer Hilfe kann man verschiedene Problemstellungen lösen, die für Menschen zu komplex sind. Jede Verbindung, die zu einer richtigen Entscheidung führt, wird im Laufe der Trainingszeit stärker gewichtet.

Aktuell werden die Wissenschaftler von zwei Beschränkungen konfrontiert. Das ist zum einen der hohe Stromverbrauch, wenn neuronale Netze in Supercomputern simuliert werden. Ein einziger Trainingszyklus für das aktuell beste KI-Programm zur Spracherzeugung benötigt so viel Energie, wie das Äquivalent zum CO2-Ausstoss von 700.000 mit dem Auto gefahrenen Kilometern [1].

Die andere Beschränkung bezieht sich auf die Hardware, wenn Neuronen als reale physikalische Systeme aufgebaut werden. Das sind beispielsweise rein elektrische Halbleiter-Bauelemente oder werden optisch mit Lasern umgesetzt. Hier wird das System auf die Anzahl der Hardware-Neuronen und die Verbindungen zwischen ihnen begrenzt.

Ein verbundener Knoten statt vieler

Wissenschaftler um Florian Stelzer der TU Berlin haben anstatt eines Netzwerks aus räumlich verbundenen Knoten ein neuronales Netzwerk gebaut, welches aus einem einzigen per Software programmierten Neuron besteht. Durch zeitverzögertes Ansteuern und Auslesen (In- und Output) nimmt es nacheinander die Rollen aller Neuronen im neuronalen Netz ein. Das Software-Neuron ist letztlich nichts anderes als eine mathematische, sogenannte nicht-lineare Funktion, die sich genau definieren lässt. Durch die veränderbaren Zeitverzögerungen wird Lernen möglich.

Ein nichtlineares Element (Neuron) mit einer nichtlinearen Funktion f wird durch einen schwarzen Kreis dargestellt. Der Zustand des Neurons zum Zeitpunkt t ist x(t). Das Signal a(t) ist die Summe aus den Daten J(t), der Vorspannung b(t) und den Rückkopplungssignalen. Einstellbare Elemente sind durch quadratische Kästchen gekennzeichnet. Das Datensignal wird aus einem Eingangsvektor u mit Hilfe einer Matrix Win erzeugt, die die Eingangsgewichte enthält (blaues Kästchen). Das Vorspannungssignal wird mit Hilfe von Vorspannungskoeffizienten erzeugt (hellgrauer Kasten). Jede Rückkopplungsschleife implementiert eine Verzögerung τd und eine zeitliche Modulation Md(t) (farbige Kästen), um die Rückkopplungssignale zu erzeugen. Schließlich wird das Ausgangssignal aus dem Signal x(t) mithilfe einer Matrix Wout von Ausgangsgewichten (dunkelgrauer Kasten) gewonnen.
Ein nichtlineares Element (Neuron) mit einer nichtlinearen Funktion f wird durch einen schwarzen Kreis dargestellt. Der Zustand des Neurons zum Zeitpunkt t ist x(t). Das Signal a(t) ist die Summe aus den Daten J(t), der Vorspannung b(t) und den Rückkopplungssignalen. Einstellbare Elemente sind durch quadratische Kästchen gekennzeichnet. Das Datensignal wird aus einem Eingangsvektor u mit Hilfe einer Matrix Win erzeugt, die die Eingangsgewichte enthält (blaues Kästchen). Das Vorspannungssignal wird mit Hilfe von Vorspannungskoeffizienten erzeugt (hellgrauer Kasten). Jede Rückkopplungsschleife implementiert eine Verzögerung τd und eine zeitliche Modulation Md(t) (farbige Kästen), um die Rückkopplungssignale zu erzeugen. Schließlich wird das Ausgangssignal aus dem Signal x(t) mithilfe einer Matrix Wout von Ausgangsgewichten (dunkelgrauer Kasten) gewonnen.
(Bild: Stelzer, F., Röhm, A., Vicente, R. et al / CC BY 4.0)

Das Ergebnis nennen die Forscher ein „Folded-in-Time Deep Neural Network“ (Fit-DNN). Im Computer hat es bereits eine für neuronale Netze typische Aufgabe bewältigt: Es konnte Bilder von Kleidungsstücken, die durch überlagertes Rauschen unkenntlich gemacht wurden, wieder rekonstruieren. Das Fit-DNN lässt sich mit einem einzelnen Gast vergleichen, der eine große Tischgesellschaft unterhält, in dem er oder sie sich blitzschnell von einem Stuhl auf den anderen setzt und alle Gesprächsbeiträge einfach selber spricht. Spezielle Verzögerungsleitungen nehmen dafür den Zustand des Neurons auf, modulieren ihn in geeigneter Weise und senden das daraus resultierende verzögerte Signal zurück.

Ein einziges Neuron benötigt weniger Energie

Wird physikalisch nur ein Neuron benötigt, erleichtert das die Implementierung in Hardware. Außerdem soll sich der Energieverbrauch der künstlichen neuronalen Netze senken lassen. Darauf schließen die Forscher aus Ergebnissen anderer Wissenschaftler, die auf dem Gebiet des sogenannten Time-Delay-Reservoir-Computing arbeiten.

Dabei wird irgendein physikalisches System (Reservoir) mit einem Eingangssignal belegt und das Ausgangssignal über eine Feedback-Schleife wieder als Eingangssignal eingespielt. Nutzt man diese Methode für Berechnungen, so erreicht man häufig eine gute Performance und einen geringeren Energieverbrauch als mit herkömmlichen Software-Lösungen.

Kleidungsstücke erkennen und neue Einsichten

Zeile a enthält Originalbilder aus dem Fashion-MNIST-Datensatz. Zeile b zeigt die gleichen Bilder mit zusätzlichem Gaußschen Rauschen. Diese verrauschten Bilder dienen als Eingabedaten für das trainierte System. Zeile c zeigt die erhaltenen Rekonstruktionen der Originalbilder.
Zeile a enthält Originalbilder aus dem Fashion-MNIST-Datensatz. Zeile b zeigt die gleichen Bilder mit zusätzlichem Gaußschen Rauschen. Diese verrauschten Bilder dienen als Eingabedaten für das trainierte System. Zeile c zeigt die erhaltenen Rekonstruktionen der Originalbilder.
(Bild: MIT Lizenz, Zalando SE)

Das Fit-DNN konnte bereits erfolgreich eine für neuronale Netze typische Aufgabe meistern. Es konnte Bilder von Kleidungsstücken, die durch überlagertes Rauschen unkenntlich gemacht wurden, wieder rekonstruieren.

Neben den konkreten praktischen Verbesserungen von KI-Systemen untersuchen die Forscher weiter am „zeitgefalteten“ neuronalen Netzwerk. Dann ergeben sich neue Einsichten. Verkleinert man die Zeitverzögerung zwischen zwei zeitlich direkt benachbarten Neuronen, könne man theoretisch unendlich viele Neuronen erzeugen. Das ist eine neue Eigenschaft der zeitgefalteten Netze, die im Prinzip einen Übergang von diskreten, einzelnen Knoten in den Netzen zu einer Art Kontinuum möglich macht.

Mehrere internationale Arbeitsgruppen aus Physik und Computerwissenschaft haben bereits angekündigt, die neuen neuronalen Netze so schnell wie möglich auch als Hardware-Schaltung umsetzen zu wollen.

Referenz

[1] [1] „Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models“. Abgerufen am 22. Februar 2022.

Jetzt Newsletter abonnieren

Verpassen Sie nicht unsere besten Inhalte

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung.

Aufklappen für Details zu Ihrer Einwilligung

(ID:48042475)