DigiSim

Die White-Box – Ein neuronales Netz mit nichts zu verbergen

Maschinelles Lernen · um 1986

DE
Die White-Box – Ein neuronales Netz mit nichts zu verbergen

Exponat wird vorbereitet…

Bedienen

TRAININGSDATENSATZ

1 = senkrechter Strich vorhanden · 0 = nicht vorhanden

Funktionsweise
  1. Der Trainingsdatensatz enthält synthetische 4×4-Bilder. Klasse 1 weist einen senkrechten Strich auf, Klasse 0 nicht. Das Netz wird darauf trainiert, diese beiden Klassen zu unterscheiden.
  2. Jedes Bild liefert der Eingabeschicht 16 Pixelintensitäten. Die Helligkeit der Kugeln stellt den jeweiligen numerischen Wert dar.
  3. Jede Linie stellt ein gelerntes Gewicht dar: Blau bedeutet positiv, Orange negativ, und die Dicke kennzeichnet den Betrag. Die Gewichte beginnen mit einer deterministischen Zufallsinitialisierung.
  4. Im Vorwärtsdurchlauf bildet jede verborgene Einheit eine gewichtete Summe aus allen 16 Eingaben und einem Bias. Anschließend berechnet ReLU max(0, z). Der Inspektor führt jeden Summanden der beiden gewichteten Summen auf.
  5. Die beiden Ausgabelogits werden durch Softmax auf Klassenwahrscheinlichkeiten abgebildet. Für die beschriftete Klasse y lautet der Kreuzentropieverlust −log p(y).
  6. Die Rückpropagation berechnet mit der Kettenregel die Ableitung des Verlusts nach jedem Gewicht und Bias. Ein Gradient ist eine lokale Sensitivität und kein kausaler Anteil am Fehler.
  7. Der Gradientenabstieg aktualisiert jeden Parameter in Richtung einer Verringerung des Verlusts des aktuellen Beispiels: θ ← θ − η∇θ. Die dargestellten Liniendicken ändern sich entsprechend.
  8. Mit »Training ausführen« wird diese Schleife über den gesamten Datensatz wiederholt. Beobachten Sie, wie der Verlust abnimmt und sich die Gewichtskarten organisieren, während aus den Rechenoperationen ein Detektor für senkrechte Striche entsteht.
Inspektor
Laufzustand
Modus—Karte—Klasse—Berechnungsschritt—Gewichtsaktualisierungen—Epochen—Verlust der letzten Epoche—
  • positives Gewicht
  • negatives Gewicht
Dicke = Betrag