ホワイトボックス — 隠すものが何もないニューラルネット
機械学習 · 1986年頃
JA
ホワイトボックス — 隠すものが何もないニューラルネット
展示を準備中…
操作
「前のステップ」と「次のステップ」は、ステップ実行モードで計算を進めます。使用するにはステップ実行に切り替えてください。
訓練データ
1 = 縦線あり · 0 = なし
仕組み
- 訓練データは、合成した4×4画像で構成されます。クラス1は縦線を含み、クラス0は含みません。このネットワークは2つのクラスを識別するように訓練されます。
- 各画像は、16個の画素強度を入力層へ与えます。球の明るさは対応する数値を表します。
- 各線は学習対象の重みを表します。青は正、オレンジは負、太さは絶対値に対応します。重みは決定論的な乱数初期値から開始します。
- 順伝播では、各隠れユニットが16入力すべての加重和とバイアスを計算します。続いてReLUがmax(0, z)を計算します。インスペクターには、2つの隠れユニットの和を構成する全項が表示されます。
- 2つの出力logitをsoftmaxに通してクラス確率を求めます。交差エントロピー損失は−log p(y)で表され、yは正解ラベルのクラスです。
- 逆伝播では連鎖律を用い、各重みとバイアスに対する損失の微分を計算します。勾配は局所的な感度であり、誤差原因の寄与率を表すものではありません。
- 勾配降下法により、現在のサンプルの損失が減少する方向へ各パラメータを更新します：θ ← θ − η∇θ。更新に伴い、線の太さも変化します。
- 「トレーニング実行」では、データセット全体についてこの処理を繰り返します。損失曲線の低下と重みヒートマップの構造化を観察すると、縦線検出器が演算から形成される過程を確認できます。
インスペクター
実行状態
モード—カード—クラス—計算ステップ—重みの更新回数—エポック数—直近エポックの損失—
- 正の重み
- 負の重み
太さ = 強さ
今号の展示
購読者は新しい展示を公開日に開けます。無料のDigiSimアカウントでは{memberDate}から、アカウントなしの場合は{anonymousDate}に公開されます。
サインインまたは登録プランを見る展示を利用できません。再生を一時停止しました。再読み込みしてお試しください。