これは蓋を外したニューラルネットワークです。何かを学習できる最小のネットワーク — 16入力、2つの隠れニューロン、2つの出力 — を意図的にそれだけ小さく保っています：すべての乗算、すべての累積和、すべての勾配が画面で読める数字になるほど小さく。ほとんどの可視化が学習の形を見せるところ、これは算術を見せます。
ステップを押すとタイムラインが1回の操作ずつ進みます。4×4のカードが16個の入力ノードに展開し、輝くパケットが各入力を配線に沿って運び、その上に正確な乗算 — 入力×重み=積。各隠れニューロンは16個の積をレシートのように合計し、線を引いて合計Zを書き、ReLUがそれをそのまま通すかゼロにクランプしてニューロンを暗くします。2つの出力が確率になり、誤差が減算として明示されます：予測マイナス正解。その後、照明が逆転し、赤いパケットが誤差を逆伝播させ、連鎖律が入力配線に分割し、各重みが公開の場で更新されます：古い重み+勾配=新しい重み、そして配線が物理的に厚くなるか薄くなって一致します。
代わりに学習実行を選ぶと、同じエンジンがデッキ全体を走り抜け、2つの隠れニューロンが専門化するのを見ます — 受容野が1と0を分離する特徴に鋭くなります。ここの数学は本物です、有限差分に対して勾配チェックされています。同じ算術をフルスケールで — 実際の数字を読む何千もの重みで — 見る準備ができたら、隣のニューロンラボへ进みましょう；この部屋は卒業できるクローズアップです。
仕様
- トポロジー
- 16 → 2 → 2、ReLU隠れ層、softmax出力
- 学習
- 本物のクロスエントロピーバックプロップ、数値的に∇チェック済み
- なぜ2ニューロン
- すべての配線と乗算が見えるほど小さい
- シミュレーション内容
- 順伝播トレース、勾配フロー、ライブ重み更新
機械学習の他の展示
