これはかなり直感的だと思いました：

あなたが評価しているデータに対する、あなたが評価しているものの複雑さ「それを評価し直すと、「これは、X面ダイと同じくらい頻繁に正しい」と言われます。

http://planspace.org/2013/09/23/perplexity-what-it-is-and-what-yours-is/

コメント

• その'は興味深い記事です。それほど深くはないかもしれませんが、入門書としては十分です。
• この記事も役に立ちました、 jamesmccaffrey.wordpress.com/2016/08/16/ …

疑問に思いましたこれも悪いことではありませんが、これが価値のあるものに対する私の2つのnatです。

まず、困惑は、何かを推測する頻度を特徴づけることとは関係ありません。右。それは確率的シーケンスの複雑さを特徴づけることともっと関係があります。

私たちは量を調べています。 $$ 2 ^ {-\ sum_x p（ x）\ log_2 p（x）} $$

最初に、ログとべき乗をキャンセルしましょう。

$$ 2 ^ {-\ sum_ {x} p（x）\ log_2 p（x）} = \ frac {1} {\ prod_ {x} p（x）^ {p（x）}} $$

エントロピーを定義するために使用するベースによって、パープレキシティは不変であることを指摘する価値があると思います。したがって、この意味で、パープレキシティは、測定値としてのエントロピーよりも無限にユニークで恣意的ではありません。

ダイスとの関係

これを少し試してみましょう。コインを見ているだけだとしましょう。コインが公正な場合、エントロピーは最大になり、困惑は最大になります $$ \ frac {1} {\ frac {1} {2} ^ \ frac {1 } {2} \ times \ frac {1} {2} ^ \ frac {1} {2}} = 2 $$

ここで、 $ N $ サイドダイス？困惑は $$ \ frac {1} {\ left（\ frac {1} {N} ^ \ frac {1} {N} \ right）^ N} = N $$

つまり、パープレキシティは、転がされたときに、与えられた確率分布と同じエントロピーを持つシーケンスを生成する、公正なサイコロの面の数を表します。

状態の数

これで、困惑の直感的な定義ができたので、モデル内の状態の数によってどのように影響を受けるかを簡単に見てみましょう。 $ N $ 状態の確率分布から始めて、 $ N + 1 $ は、元の $ N $ 状態の確率比が同じままで、新しい状態の確率が $ \ epsilonになるように記述します。 $ 。公正な $ N $ サイドダイから始める場合、新しい $ N + 1 $ <を作成することを想像するかもしれません。 / span>サイドダイスは、新しいサイドが確率 $ \ epsilon $ と元の $ N $ サイドは同じ確率でロールされます。したがって、任意の元の確率分布の場合、各状態の確率 $ x $ が $ p_x $で与えられると、新しい状態が与えられた場合の元の $ N $ 状態の新しい分布は $$ p ^ \になります。 prime_x = p_x \ left（1- \ epsilon \ right）$$ 、そして新しい困惑は次のように与えられます：

$$ \ frac {1} {\ epsilon ^ \ epsilon \ prod_x ^ N {p ^ \ prime_x} ^ {p ^ \ prime_x}} = \ frac {1} {\ epsilon ^ \ epsilon \ prod_x ^ N {\ left（p_x \ left （1- \ epsilon \ right）\ right）} ^ {p_x \ left（1- \ epsilon \ right）}} = \ frac {1} {\ epsilon ^ \ epsilon \ prod_x ^ N p_x ^ {p_x \ left（ 1- \ epsilon \ right）} {\ left（1- \ epsilon \ right）} ^ {p_x \ left（1- \ epsilon \ right）}} = \ frac {1} {\ epsilon ^ \ epsilon {\ left （1- \ epsilon \ right）} ^ {\ left（1- \ epsilon \ right）} \ prod_x ^ N p_x ^ {p_x \ left（1- \ epsilon \ right）}} $$

$ \ epsilon \ rightarrow 0 $ としての制限では、この量はおよそhes $$ \ frac {1} {\ prod_x ^ N {p_x} ^ {p_x}} $$

ダイの片側の可能性はますます低くなり、困惑はその側が存在しないかのように見えてしまいます。

コメント

• 確かに'の価値はわずか〜1.39 natsですか？
• $$ \ prod_x ^ N {p ^ \ prime_x} ^ {p ^ \ prime_x} =（ 1- \ epsilon）^ {1- \ epsilon} \ prod_x ^ N {p_x} ^ {p_x（1- \ epsilon）} $$？ $$ \ prod_x ^ N {p ^ \ prime_x} ^ {p ^ \ prime_x} = \ prod_x ^ N {（p_x（1- \ epsilon））} ^ {p_x（1- \ epsilon）} =しか実行できません\ prod_x ^ N {（1- \ epsilon）} ^ {p_x（1- \ epsilon）} \ prod_x ^ N {p_x} ^ {p_x（1- \ epsilon）} $$
• $$ \ prod_x ^ N \ left {（1- \ epsilon \ right）} ^ {p_x \ left（1- \ epsilon \ right）} = {\ left（1- \ epsilon \ right）} ^ {\ sum_x ^ N p_x \ left（1- \ epsilon \ right）} = {\ left（1- \ epsilon \ right）} ^ {\ left（1- \ epsilon \ right）\ sum_x ^ N p_x} = {\ left（1- \ epsilon \ right）} ^ {\ left（1- \ epsilon \ right）} $$

実際には、CoverのElements of Information Theory 2ed（2.146）で示されているように、困惑と分布から値を正しく推測する確率との間には明確な関係があります。 $ X $ <の場合/ span>と $ X “$ はiid変数であり、

$ P（X = X “）\ ge 2 ^ {-H（X）} = \ frac {1} {2 ^ {H（X）}} = \ frac {1} {\ text {perplexity}} $ （1）

説明すると、一様分布Xの困惑は| X |であり、その数は要素の。 Xからiidを推測するだけで、一様分布Xからのiidサンプルが取る値を推測しようとすると、時間の1 / | X | = 1 /複雑さが正しくなります。一様分布は値を推測するのが最も難しいため、推測が正しい頻度の下限/ヒューリスティック近似として1 / perplexityを使用できます。