end0tknr's kipple - 新web写経開発

http://d.hatena.ne.jp/end0tknr/ から移転しました

同時確率、条件付き確率、加法定理、情報定理、ベイズ

メモ

凡例

━:標本空間(全事象)、★:事象
P(X)

┏━━ U┓
┃┌X ┐┃
┃│★│┃
┃└─┘┃
┗━━━┛

独立

ある試行の結果が、他の試行の結果に影響しない。
独立における、同時確率は次式が成り立つ
 P(X,Y)=P(X)P(Y)

同時確率 - P(X,Y)

XとYが同時に起こる確率.
P(X,Y) = P(X)P(Y)

┏━━━━━━U ┓
┃┌── X┐    ┃
┃│  ┌ Y┼─┐┃
┃│  │★│  │┃
┃└─┼─┘  │┃
┃    └───┘┃
┗━━━━━━━┛

条件付き確率 - P(X|Y)

Yが起こる場合に、Yが起こる確率
P(X|Y) = \frac{P(X,Y)}{P(Y)}

┌──────U ┐
│┌X ──┐    │
││  ┏Y ┿━┓│
││  ┃★│  ┃│
│└─╂─┘  ┃│
│    ┗━━━┛│
└───────┘

加法定理

同時確率 P(X,Y) と周辺確率 P(X) に関し、次が成立
離散確率の場合 ... P(X) = \sum{}_{Y}P(X,Y)
連続確率の場合 ...  P(X) = \int P(X,Y) dY = \int f(x,y) dy
※Σは,確率変数Yのとりうる値すべて合計
確率密度関数f(x)は下記をご覧下さい

乗法定理

同時確率、条件付き確率、周辺確率 に関し、次が成立
※先程の条件付き確率を少々、変更したものです
P(X,Y) = P(Y|X)P(X) ※離散確率にも連続確率にも利用できます

ベイズ(条件付き確率)

ある事象Y が起こるという条件下での別の事象X の確率
P(X,Y) = P(X|Y)P(Y) = P(Y|X)P(X)
乗法定理より上式が成立し、2項,3項を P(Y) で割ると、次のベイズの公式を導出できます
P(X|Y) = \frac{P(Y|X)P(X)}{P(Y)}

ベイジアンフィルタのメモ

ある文書が、あるカテゴリに含まれる確率は、次式。
 P(cat|doc) = \frac{P(doc|cat)P(cat)}{P(doc)}

あるカテゴリが与えれた時の文章の生起確率は
「ある文章」が「ある単語」の集合であることを考えると、次式に近似できます
 P(doc|cat) = P(word1|cat) P(word2|cat) ... P(wordn|cat)

確率密度関数 - f(x)

連続型確率変数Xに対し、次式が成立するとき、f(x)が確率密度関数
 P(a \leq X \leq b) = \int\limits_a^b f(x) dx