DigiSim

La Boîte Blanche — Un Réseau de Neurones Sans Secret

Apprentissage automatique · v. 1986

FR
La Boîte Blanche — Un Réseau de Neurones Sans Secret

Préparation de l’exposition…

Utiliser

JEU D'ENTRAÎNEMENT

1 = comporte un trait vertical · 0 = n'en comporte pas

Fonctionnement
  1. Le jeu d’entraînement contient des images synthétiques de 4×4. La classe 1 comporte un trait vertical ; la classe 0 n’en comporte pas. Le réseau apprend à distinguer ces deux classes.
  2. Chaque image fournit 16 intensités de pixel à la couche d’entrée. La luminosité des sphères représente les valeurs numériques correspondantes.
  3. Chaque ligne représente un poids appris : bleu pour un poids positif, orange pour un poids négatif, et l’épaisseur pour la valeur absolue. Les poids sont initialisés par un tirage pseudo-aléatoire déterministe.
  4. Pendant la propagation avant, chaque unité cachée forme une somme pondérée des 16 entrées et d’un biais. ReLU calcule ensuite max(0, z). L’inspecteur énumère tous les termes des sommes des deux unités cachées.
  5. Les deux logits de sortie passent par softmax pour produire les probabilités de classe. Pour la classe étiquetée y, la perte d’entropie croisée vaut −log p(y).
  6. La rétropropagation applique la règle de chaîne pour calculer la dérivée de la perte par rapport à chaque poids et biais. Un gradient exprime une sensibilité locale, et non une part causale de l’erreur.
  7. La descente de gradient met chaque paramètre à jour dans la direction qui réduit la perte de l’exemple courant : θ ← θ − η∇θL. L’épaisseur des lignes évolue avec les poids.
  8. « Lancer l’entraînement » répète cette boucle sur l’ensemble du jeu de données. Observez la diminution de la perte et l’organisation des cartes de poids tandis que les calculs font émerger un détecteur de traits verticaux.
Inspecteur
État de la course
mode—carte—classe—étape de calcul—mises à jour des poids—époques—perte de la dernière époque—
  • poids positif
  • poids négatif
épaisseur = intensité