A Bhattacharyya távolságot $ D_B (p, q) = – \ ln \ left (BC (p, q) \ right) $, ahol $ BC (p, q) = \ sum_ {x \ in X} \ sqrt {p (x) q (x)} $ diszkrét változók és hasonlóan a folytonos véletlen változók esetében. Próbálok némi intuíciót szerezni arról, hogy mit mond ez a mutató a 2 valószínűségi eloszlásról, és hogy mikor lehet jobb választás, mint a KL-divergencia vagy a Wasserstein-távolság. (Megjegyzés: Tudom, hogy a KL-divergencia nem egy távolság).
Válasz
A Bhattacharyya-együttható $$ BC (h, g) = \ int \ sqrt {h (x) g (x)} \; dx $$ folyamatos esetben. Van egy jó wikipédia-cikk https://en.wikipedia.org/wiki/Bhattacharyya_distance . Hogyan értsük meg ezt (és a hozzá tartozó távolságot)? Kezdjük a többváltozós normál esettel, amely tanulságos és a fenti linken található. két többváltozós normális eloszlásnak ugyanaz a kovariancia mátrixa, a Bhattacharyya távolság egybeesik a Mahalanobis távolsággal, míg két különböző kovariancia mátrix esetében van egy második tagja, és így általánosítja a Mahalanobis távolságot. A Bhattacharyya távolság jobban működik, mint a mahalanobik. A Bhattacharyya távolság szorosan összefügg a Hellinger távolsággal is https://en.wikipedia.org/wiki/Hellinger_distance .
A fenti képlet alapján találhatunk néhány sztochasztikus értelmezést. Írjon $$ \ DeclareMathOperator {\ E} {\ mathbb {E}} BC (h, g) = \ int \ sqrt {h (x) g (x)} \; dx = \\ \ int h (x) \ cdot \ sqrt {\ frac {g (x)} {h (x)}} \; dx = \ E_h \ sqrt {\ frac {g (X)} {h (X)}} $$ tehát a valószínűségi arány statisztika négyzetgyökének várható értéke, amelyet a $ h $ (a $ X $ nulleloszlása). Ez összehasonlítást tesz a intuícióval a Kullback-Leibler (KL) divergenciáján , amely a Kullback-Leibler divergenciát a loglikelihood arány statisztikájának elvárásaként értelmezi (de a alternatív $ g $ ). Ez a nézőpont érdekes lehet egyes alkalmazásokban.
Még egy másik nézőpont, hasonlítsuk össze az f-divergenciák általános családjával, amelyet úgy definiálunk, lásd: Rényi entrópia $$ D_f (h, g) = \ int h (x) f \ bal (\ frac {g (x)} {h (x)} \ jobb) \ ; dx $$ Ha a $ f (t) = 4 (\ frac {1 + t} {2} – \ sqrt {t}) $ értéket választjuk az ebből adódó f-divergencia a Hellinger-divergencia, amelyből kiszámíthatjuk a Bhattacharyya együtthatót. Ez a renyi entrópiából nyert renyi divergencia példaként is tekinthető, lásd a fenti linket.
Válasz
A Bhattacharya távolságot a következő egyenlet segítségével is meghatározhatja: 
ahol A $ \ mu_i $ és a $ \ sum_i $ a $ i ^ {th} $ fürt.
Megjegyzések
- érdekes, ez általános eredmény-e pl. bármely 2 megoszlási eszköz és kovariancia esetén, vagy ez konkrét eloszlásra utal-e?