Suchen

Big Data und Deep Learning

So spürt Deep Learning Datenmuster auf

Seite: 2/4

Firmen zum Thema

Methoden

Intel sieht Anwendungsmöglichkeiten von Deep Learning in mindestens zwölf Feldern von Wirtschaft, Medizin und Forschung.
Intel sieht Anwendungsmöglichkeiten von Deep Learning in mindestens zwölf Feldern von Wirtschaft, Medizin und Forschung.
(Bild: Intel)

Eine der großen Herausforderungen beim Machine Learning ist das Auffinden von Merkmalen und das Entwickeln von Funktionen, um diese Suchen zu stützen. Der Programmierer muss dem Algorithmus mitteilen, wonach das System suchen soll, beispielsweise eine Handschrift auf einem Brief. Den Rechner mit Rohdaten zu füttern, um ihn zu „trainieren“, erweist sich schnell als wenig zielführend. Denn selbst das Erkennen der Kategorie „Katze“ lässt den Rechner, der „sehen“ kann, auf so viele Unterschiede stoßen, dass er kaum zu einem Ergebnis gelangt. Die Treffsicherheit tendiert gegen Null.

Die vielen verschiedenen Modelle des Deep Learning gehen dieses Problem an, indem sie dem Rechner durch Gewichtung beibringen, auf welche Merkmale er sich konzentrieren soll. Wie im Machine Learning wird der Algorithmus fortwährend mit den neuen Ergebnissen gefüttert und kann sich theoretisch selbst optimieren, um seine Genauigkeit zu steigern. „Rekursive Neuronale Netzwerke sind Funktionen, die Sequenzen von Daten umwandeln, beispielsweise ein Audio-Signal in eine textliche Transkription, oder einen englischen Satz in einen chinesischen“, erläutert Greg Diamos. „Andere ANN arbeiten nicht mit Sequenzen (Tonsignale usw.), sondern mit Daten von fester Länge, zum Beispiel einem Bild mit festen Abmessungen.“

Verschiedene DL-Modelle, die unter anderem in München und Zürich entwickelt wurden, steigern sowohl die Treffsicherheit als auch die Schnelligkeit. Aus Wochen werden Tage, bis ein Trainingslauf beendet ist, aus Tagen werden Stunden und so weiter, bis das Training beendet ist und der Algorithmus auf Testdaten angewandt werden kann. Wenn beispielsweise der Gefühlsausdruck in einem Social-Media-Eintrag analysiert werden soll (Sentiment Analysis), muss das DL-System auch Ironie und Sarkasmus erkennen können.

Neuronale Netze arbeiten in der Regel nicht nur sequenziell-linear wie im Batch Processing, sondern auch in Schichten. In den sechziger und siebziger Jahren gab es nur eine Handvoll Schichten. Dabei werden die Ergebnisse stets von den niederen Ebenen an die höheren Ebenen weitergereicht, damit ein höheres Maß an Abstraktion erzielt wird. Inzwischen werden Ergebnisse zurück oder vorausgeschickt, um das Training zu beschleunigen. Greg Diamos arbeitet heute bei Baidu an einem RNN mit mehreren tausend Schichten.

Aber es gibt, wie der entsprechende Wikipedia-Artikel erwähnt, schon Neuronale Netzwerke mit Millionen Schichten. Faustregel: Je komplizierter das Problem (etwa Erkennung von natürlicher Sprache sowie deren Übersetzung), desto mehr Schichten werden benötigt. Es ist eine Form der Parallelverarbeitung und erfordert entsprechende Kapazität, Programme und Entwickler.

(ID:44443137)

Über den Autor