DigiSim Museum

ニューロンラボ

シミュレーターを開く
数字を読むことを学習する本物の全結合ネットワーク。すべての球がニューロン、すべての線が重みです。任意の球をクリックして開き、正確な合計を確認してください;線が明るいのは上流の活性化 × その重みが大きいからです。
∇-check 確認中…
エポック
0
学習済みサンプル
0
訓練損失
テスト精度
パラメータ数
ステータス
待機中
速度
学習率 η
バッチ
順方向 · 活性化信号
興奮性(+ 重み)
抑制性(− 重み)
逆方向 · 誤差勾配
勾配パルス →
線 = モデル(重み)
球 = 活性化値(入力ごと)
配線表示
ドラッグ 回転 · スクロール ズーム · 球をクリック 開く
訓練中:既知 vs 学習
INPUT値は 既知 — 入力するピクセル
HIDDEN 1重みは 未知 — 意味は自己学習 · 目標なし
HIDDEN 2重みは 未知 — 意味は自己学習 · 目標なし
OUTPUT意味 + 目標は 既知 · 重みは 未知
すべての線は重み = 未知;訓練はその全 個を解くことです。私たちが設計するのは層、サイズ、活性化関数 & 損失関数;私たちが得るのは訓練済み重みです。隠れ層には解答キーがありません — 出力からの誤差が逆伝播されるだけです。

ニューロンの内部 · 正確な合計

— 選択してください —

線が明るいのはなぜ? · 仕組み

各線は1つの数値を運びます:上流ニューロンの活性化値この線の重みの積(ai · wij)。その積が大きいとき線が明るくなります — ソースニューロンが強く発火しているか、重みが大きいか、またはその両方。暖色 = 対象を押し上げる、寒色 = 引き下げる。ニューロンを開いてバーをホバーすると対応する線が光ります。

教師あり学習 · 与えられるもの

探索中
画像 常に既知
答え:
ネットの予測:
損失: (どれだけ間違っているか)
修正が逆伝播されます
訓練画像はそれぞれ正解と対でやってきます;ネットはそれに向けて重みを調整します。探索 / テスト時は答えが伏せられます — ネットは単独で答えを出さなければなりません。

出力 · 10個の答えニューロン(softmax)

最後の層の10個のニューロンが競合します;softmax がスコアを合計1の確率に変換します。

探索 & 描画 · 数字を入力

きれいな数字を送るか、自分で描いてください(16×16がネットの実際の入力サイズ)。グラフ全体が即座に再発火します。

本物のネット、MNIST代替データ。本物の手書き文字にはMNIST(28×28、人間サンプル6万件)を使用します。グラフを読みやすくし、すべての重みを可視化するために、ここの入力はランダムなシフト・回転・ノイズで手続き的に生成した16×16の数字(それがデータ増強)で、エンドツーエンドで本当に訓練されています。アーキテクチャ 256 → 16 → 12 → 10(ReLU、softmax + 交差エントロピー、モーメンタムSGD)。∇-check バッジが逆伝播を数値的に確認しています。全結合ネットは最も透明な種類 — 最も精度が高いわけではありません;実際の画像では畳み込みネットの方が優れています。
ドラッグで回転 · ニューロンをクリックして開く · スクロールでズーム