deep-learning-from-scratch/ch06 at master · oreilly-japan/deep-learning-from-scratch · GitHub 「ゼロから作るDeep Learning ① (Pythonで学ぶディープラーニングの理論と実装)」 p.197～202 の写経です。 ハイパーパラメータとは? 各層のニューロン数 …

deep-learning-from-scratch/ch06 at master · oreilly-japan/deep-learning-from-scratch · GitHub 「ゼロから作るDeep Learning ① (Pythonで学ぶディープラーニングの理論と実装)」 p.193～195 の写経です。 先程の Weight decay (荷重減衰)とは別に Dropo…

deep-learning-from-scratch/ch06 at master · oreilly-japan/deep-learning-from-scratch · GitHub 「ゼロから作るDeep Learning ① (Pythonで学ぶディープラーニングの理論と実装)」 p.193～195 の写経です。 過学習の主な原因 パラメータを大量に持ち、表…

先程のentryでは、 重み初期値が広がりが持つようXavierやHeを使用していますが Batch Normalizationという手法を追加することでも、 アクティベーション分布の広がりを調整できるようです。 尚、アクティベーションとは、Affine層による処理を指します。 Af…