読者です 読者をやめる 読者になる 読者になる

end0tknr's kipple - 新web写経開発

http://d.hatena.ne.jp/end0tknr/ から移転します

シグモイド関数 / ロジスティック関数 の導関数(微分)

シグモイド関数(ロジスティック) と、その導関数(微分)

ロジスティック回帰に関連し、以下を証明(導出)

 \displaystyle
f(x) = \frac{1}{1 + e^{-x}} \ \Longrightarrow \ f'(x) = ( 1 - f(x) ) f(x)

証明(導出)手順

 \displaystyle
f(x) = \frac{1}{1 + e^{-x}} = (1 + e^{-x})^{-1}
…(1) に対し

 \displaystyle u = 1 + e^{-x} …(2) とおくと  \displaystyle f(x) = u^{-1} …(3) となる。

次に、上記(1) の微分を合成関数の微分で表すと

 \displaystyle
f'(x) = f'(u) \cdot \frac{du}{dx}
…(4) となり、式(3)と式(2)をそれぞれ微分

 \displaystyle
f'(u) = -1 \cdot u^{-2} = - (1 + e^{-x})^{-2}
…(5) と  \displaystyle
\frac{du}{dx} = -e^{-x}
…(6) とできる。

最後に 式(5),(6) を 式(4) へ代入し、変形して完了。

 \displaystyle
f'(x) = \frac {-1}{(1 + e^{-x})^{2}} \cdot - e^{-x}
 = \frac {1}{(1 + e^{-x})^{2}} \cdot e^{-x}
 = \frac{e^{-x}}{(1 + e^{-x})} \cdot \frac{1}{(1 + e^{-x})}

 \displaystyle
 = ( \frac{1+e^{-x}}{1+e^{-x}} - \frac{1}{1+e^{-x}}) \cdot \frac{1}{1+e^{-x}}
 \displaystyle
 = \underline{ ( 1 - f(x)) \cdot f(x) }