end0tknr's kipple - web写経開発

太宰府天満宮の狛犬って、妙にカワイイ

シグモイド関数 / ロジスティック関数 の導関数(微分)

シグモイド関数(ロジスティック) と、その導関数(微分)

ロジスティック回帰に関連し、以下を証明(導出)

\displaystyle f(x) = \frac{1}{1 + e^{-x}} \ \Longrightarrow \ f'(x) = ( 1 - f(x) ) f(x)

証明(導出)手順

\displaystyle f(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1} …(1) に対し

\displaystyle u = 1 + e^{-x} …(2) とおくと \displaystyle f(x) = u^{-1} …(3) となる。

次に、上記(1) の微分を合成関数の微分で表すと

\displaystyle f'(x) = f'(u) \cdot \frac{du}{dx} …(4) となり、式(3)と式(2)をそれぞれ微分し

\displaystyle f'(u) = -1 \cdot u^{-2} = - (1 + e^{-x})^{-2} …(5)　と \displaystyle \frac{du}{dx} = -e^{-x} …(6)　とできる。

最後に 式(5),(6) を 式(4) へ代入し、変形して完了。

\displaystyle f'(x) = \frac {-1}{(1 + e^{-x})^{2}} \cdot - e^{-x} = \frac {1}{(1 + e^{-x})^{2}} \cdot e^{-x} = \frac{e^{-x}}{(1 + e^{-x})} \cdot \frac{1}{(1 + e^{-x})}

\displaystyle = ( \frac{1+e^{-x}}{1+e^{-x}} - \frac{1}{1+e^{-x}}) \cdot \frac{1}{1+e^{-x}} \displaystyle = \underline{ ( 1 - f(x)) \cdot f(x) }