Vzájemná Informace - Wikipedie

Definice vzájemné informace

[editovat | editovat zdroj]

Formálně lze vzájemnou informaci dvou diskrétních náhodných proměnných X a Y definovat jako:

I ( X ; Y ) = ∑ y ∈ Y ∑ x ∈ X p ( x , y ) log ⁡ ( p ( x , y ) p ( x ) p ( y ) ) , {\displaystyle I(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)},\,\!}

kde p(x,y) je sdružená pravděpodobnostní funkce proměnných X a Y a p(x) resp. p(y) jsou marginální pravděpodobnostní funkce proměnných X resp. Y.

V případě spojité náhodné proměnné je sumace nahrazena určitým dvojným integrálem:

I ( X ; Y ) = ∫ Y ∫ X p ( x , y ) log ⁡ ( p ( x , y ) p ( x ) p ( y ) ) d x d y , {\displaystyle I(X;Y)=\int _{Y}\int _{X}p(x,y)\log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}\;dx\,dy,}

kde p(x, y) je sdružená hustota pravděpodobnosti X a Y, a p ( x ) {\displaystyle p(x)} resp. p ( y ) {\displaystyle p(y)} jsou marginální hustoty pravděpodobností X resp. Y.

Jestliže použijeme logaritmus o základu 2, bude jednotkou vzájemné informace bit.

Intuitivně je vzájemná informace mírou informace, kterou sdílí náhodné proměnné X a Y: udává, do jaké míry znalost jedné z těchto proměnných snižuje nejistotu o druhé. Pokud jsou náhodné proměnné X a Y nezávislé, což znamená, že znalost X nedává žádnou informaci o Y a naopak, pak jejich vzájemná informace je nulová. Opačným extrémem je, když X je deterministickou funkcí Y a Y je deterministickou funkcí X; pak veškerá informace nesená náhodnou proměnnou X je sdílená s Y, a proto znalost X určuje hodnotu Y a naopak. Důsledkem toho je, že v tomto případě vzájemná informace je totéž jako nejistota obsažená v Y (nebo X) samotné, čili entropie Y (nebo X). Navíc tato vzájemná informace je stejná jako entropie X, i jako entropie Y. (Velmi speciálním případem této situace je, když X a Y jsou ve skutečnosti stejnou náhodnou proměnnou.)

Vzájemná informace je míra nedílné závislosti vyjádřená sdruženým rozdělením náhodných proměnných X a Y vztaženým ke sdruženému rozdělení proměnných X a Y, kdyby byly nezávislé. Vzájemná informace proto měří závislost v následujícím smyslu: I(X; Y) = 0 právě tehdy, když X a Y jsou nezávislé náhodné proměnné. To je dobře vidět v jednom směru:, jestliže X a Y jsou nezávislé, pak p(x,y) = p(x) p(y) a proto:

log ⁡ ( p ( x , y ) p ( x ) p ( y ) ) = log ⁡ 1 = 0. {\displaystyle \log {\left({\frac {p(x,y)}{p(x)\,p(y)}}\right)}=\log 1=0.\,\!}

Vzájemná informace je vždy nezáporná (tj. I(X;Y)≥0; viz níže) a symetrická (tj. I(X;Y) = I(Y;X)).