ベイズの事前分布と事後分布を理解するのを手伝ってください

最初に共役事前分布とは何かを説明しましょう。次に、特定の例を使用してベイズ分析について説明します。ベイズ統計には、次の手順が含まれます。

1. パラメータに関する主観的な信念を組み込んだ事前分布を定義します（この例では、対象のパラメータは左の比率です-ハンダー）。事前確率は「非情報」または「有益」にすることができます（ただし、情報のない事前確率はありません。こちらの説明を参照してください）。
2. データを収集します。
3. ベイズの定理を使用してデータで事前分布を更新し、事後分布を取得します。事後分布は、パラメーターに関する更新された信念を表す確率分布です。データを見た後。
4. 事後分布を分析し、要約します（平均、中央値、sd、量子など）。

すべてのベイズ統計の基礎はベイズの定理です。これは

$$ \ mathrm {posterior} \ propto \ mathrm {prior} \ times \ mathrm {likelihood} $$

あなたの場合、確率は二項分布です。事前分布と事後分布が同じファミリーにある場合、 事前分布と事後分布は共役分布と呼ばれます。事後確率もベータ分布であるため、ベータ分布は共役事前分布です。ベータ分布は二項尤度の共役ファミリーであると言います。 。共役分析は便利ですが、実際の問題ではめったに発生しません。ほとんどの場合、事後分布はMCMCを介して数値で見つける必要があります（Stan、WinBUGS、OpenBUGS、JAGS、PyMC、またはその他のプログラムを使用）。

事前確率分布が1に統合されない場合、それは不適切な事前確率と呼ばれ、1に統合される場合、それは適切な事前確率と呼ばれます。ほとんどの場合、不適切なpriまたはベイズ分析に大きな問題を引き起こさない。ただし、事後分布は適切である必要があります。つまり、事後分布は1に統合される必要があります。

これらの経験則は、ベイジアン分析手順の性質に直接準拠しています。

• 事前確率が有益でない場合、事後確率はデータによって非常に決定されます（事後確率はデータ駆動型です）
• 事前確率が有益である場合、事後確率は事前確率と事後確率の混合です。データ
• 事後確率は事前情報によって大きく左右されるため、いわば、事前確率が情報量が多いほど、信念を「変更」するために必要なデータが多くなります。
• 大量のデータがある場合、データは事後分布を支配します（事前分布を圧倒します）

ベータ分布のいくつかの可能な「有益な」および「有益でない」事前確率の優れた概要この投稿にあります。

以前のベータ版が $ \ mathrm {Beta}であるとします。 （\ pi_ {LH} | \ alpha、\ beta）$ ここで、 $ \ pi_ {LH} $ は、左利きの割合です。前のパラメーター $ \ alpha $ と $ \ beta $ を指定するには、平均を知ることが役立ちます。ベータ分布の分散（たとえば、前に特定の平均と分散を持たせたい場合）。平均は $ \ bar {\ pi} _ {LH} = \ alpha /（\ alpha + \ beta）$ です。したがって、 $ \ alpha = \ beta $ の場合、平均は $ 0.5 $ になります。ベータ分布の分散は $ \ frac {\ alpha \ beta} {（\ alpha + \ beta）^ {2}（\ alpha + \ beta + 1）} $ <です。 / span>。便利なのは、 $ \ alpha $ と $ \ beta $ を以前と同じように考えることができることです。観測された（疑似）データ、つまり $ \ alpha $ 左利きと $ \ beta $ 右利き-サイズ $ n_ {eq} = \ alpha + \ beta $ の（疑似）サンプルからのハンドラー。 $ \ mathrm {Beta}（\ pi_ {LH} | \ alpha = 1、\ beta = 1）$ の分布は均一です（ $ \ pi_ {LH} $ も同様に可能性があります）、2人を観察したのと同じで、そのうち1人は左利きでもう1人は右利きです。

事後ベータ分布は単純に $ \ mathrm {Beta}（z + \ alpha、N-z + \ beta）$ です。ここで、 $ N $ はサンプルのサイズであり、 $ z $ はサンプルの左利きの数です。したがって、 $ \ pi_ {LH} $ の事後平均は $（z + \ alpha）/（N + \ alpha + \ beta）$ 。したがって、事後ベータ分布のパラメーターを見つけるには、 $ z $ の左利きを $ \ alpha $ <に追加するだけです。 / span>および $ Nz $ の右利きの $ \ beta $ 。事後分散は $ \ frac {（z + \ alpha）（N-z + \ beta）} {（N + \ alpha + \ beta）^ {2}（N + \ alpha + \ベータ+1）} $ 。非常に有益な事前分布は、事後分布の分散も小さくなることに注意してください（下のグラフはポイントをうまく示しています）。

あなたの場合、 $ z = 2 $ と $ N = 18 $ であり、事前確率は情報量の少ないユニフォームであるため、 $ \ alpha = \ beta = 1 $ 。したがって、事後分布は $ Beta（3、17）$ になります。事後平均は $ \ bar {\ pi} _ {LH} = 3 /（3 + 17）= 0.15 $ です。これは、事前確率、データの尤度、および事後確率を示すグラフです。

div>

事前分布は情報量が少ないため、事後分布は完全にデータによって駆動されていることがわかります。また、事後分布の最高密度区間（HDI）もプロットされています。事後分布を2D盆地に置き、分布の95％が喫水線より上になるまで水を充填し始めると想像してください。喫水線が事後分布と交差するポイントは、95％-HDIを構成します。 HDI内のすべてのポイントは、HDI外のどのポイントよりも確率が高くなります。また、HDIには常に事後分布のピーク（つまり最頻値）が含まれます。 HDIは、後部の各尾から2.5％が除外される等尾95％の信頼区間とは異なります（ここを参照）。

2番目のタスクでは、人口の5〜20％が左利きであるという情報を組み込むように求められます。これを行うには、いくつかの方法があります。最も簡単な方法は、事前ベータ分布に $ 0.125 $ の平均。これは $ 0.05 $ と $ 0.2 $ 。ただし、 $ \ alpha $ と $ \ beta $ の選択方法以前のベータ分布？まず、以前の分布の平均を、同等のサンプルサイズpan class = “math-の疑似サンプルから $ 0.125 $ にします。 container “> $ n_ {eq} $ 。より一般的には、事前確率に平均 $ m $ sp疑似サンプルサイズが $ n_ {eq} $ の>、対応する $ \ alpha $ および $ \ beta $ の値は次のとおりです。 $ \ alpha = mn_ {eq} $ および $ \ beta =（1-m）n_ {eq} $ 。あとは、疑似サンプルサイズ $ n_ {eq} $ を選択するだけです。これにより、以前の情報に対する自信が決まります。事前情報について非常に確信があり、 $ n_ {eq} = 1000 $ を設定するとします。事前分布のパラメータは $ \ alpha = 0.125 \ cdot 1000 = 125 $ および $ \ beta =（1- 0.125）\ cdot 1000 = 875 $ 。事後分布は $ \ mathrm {Beta}（127、891）$ で、平均は約 $ 0.125 $ は、 $ 0.125 $ の事前平均と実質的に同じです。事前情報が事後確率を支配しています（次のグラフを参照）：

事前情報について確信が持てない場合は、<を設定できます。疑似サンプルのspanclass = "math-container"> $ n_ {eq} $ をたとえば $ 10 $ にすると、 $ \ alpha = 1.25 $ および $ \ beta = 8.75 $ 。事後分布は $ \ mathrm {Beta}（3.25、24.75）$ で、平均は約 $ 0.116 $ 。データが前の平均を上回っているため、事後平均はデータの平均（ $ 0.111 $ ）に近くなりました。状況を示すグラフは次のとおりです。

事前情報を組み込むより高度な方法は、事前ベータ分布の $ 0.025 $ 分位数が約 $ 0.05 $ および $ 0.975 $ 分位数は約 $ 0.2 $ 。これは、人口に占める左利きの割合が5％から20％の間であると95％確信していると言うのと同じです。 RパッケージLearnBayesの関数beta.selectは、対応する $ \ alpha $ および $ \ beta $ そのような分位数に対応するベータ分布の値。コードは

library(LearnBayes) quantile1=list(p=.025, x=0.05) # the 2.5% quantile should be 0.05 quantile2=list(p=.975, x=0.2) # the 97.5% quantile should be 0.2 beta.select(quantile1, quantile2) [1] 7.61 59.13 

パラメーターが $ \ alpha = 7.61 $ のベータ分布のようです。 $ \ beta = 59.13 $ には目的のプロパティがあります。以前の平均は $ 7.61 /（7。61 + 59.13）\ upperx 0.114 $ は、データの平均に近い値です（ $ 0.111 $ ）。この場合も、この事前分布には、約 $ n_ {eq} \ approx 7.61 + 59.13 \ upperx 66.74 $ の同等のサンプルサイズの疑似サンプルの情報が組み込まれています。事後分布は $ \ mathrm {Beta}（9.61、75.13）$ で、平均は $ 0.113 $ です。これは、非常に有益な $ \ mathrm {Beta}（125、875）$ を使用した以前の分析の平均に匹敵します。対応するグラフは次のとおりです。

ベイジアン推論と簡単な分析の短いがわかりにくい概要については、このリファレンスも参照してください。共役解析、特に二項データの詳細については、こちらをご覧ください。ベイジアン思考の一般的な紹介は、ここにあります。ベイズ統計の側面に関するその他のスライドは、こちらです。

コメント

• 理由ここでベータ分布を選択しますか？
• @Metallica主な理由は、ベータが二項分布の共役事前分布であるためです。これは、前にベータを選択した場合、後部もベータになることを意味します。さらなる理由は、ベータが0から1の間であり、非常に柔軟性があることです。たとえば、ユニフォームが含まれます。ただし、$（0,1）$でサポートされている適切な配布は、以前と同じように使用できます。 'は、後部の計算がより難しいということです。
• グラフがRでプロットされている場合は？上記のグラフを生成するためにRコードを追加していただけませんか？彼らは本当に役に立ちます。ありがとう！
• 情報量の少ない事前確率はジェフリー'の事前確率$ \ alpha = \ beta = \ frac 1 2 $ …なぜだと思いますかそうではありませんか？
• @meduz厳密に言えば、実際の"情報量の少ない"の事前確率はありません。このディスカッションについて、ティムによる優れた回答を紹介したいと思います。

$ \ alpha $ = 1および$ \ beta $ = 1のベータ分布は、一様分布と同じです。つまり、実際には均一です。あなたは、分布のパラメータ（この場合、人々のグループにおける左利きの人々のパーセンテージ）に関する情報を見つけようとしています。ベイズの公式は次のように述べています。

$ P（r | Y_ {1、 …、n}）$ = $ \ frac {P（Y_ {1、…、n} | r）* P（r）} {\ int P（Y_ {1、…、n} | \ theta）* P（r）} $

あなたが指摘したことは次のように比例します：

$ P（r | Y_ {1、…、n}）$ $ \ propto $ $（Y_ {1、…、n} | r）* P（r）$

つまり、基本的には、グループ内の左利きの割合についての以前の信念から始めます。 （P（r）、これは「均一な距離を使用しています）」次に、収集したデータを考慮して、事前に通知します（この場合は二項分布です。右利きまたは左利きのどちらかなので、$ P（Y_ { 1、…、n} | r）$）。二項分布には事前分布のベータ共役があります。つまり、事後分布$ P（r | Y_ {1、… n}）$は、データを考慮した後のパラメーターの分布が事前分布と同じファミリーにあることを意味します。ここでのrは結局不明ではありません。 （率直に言って、データを収集する前ではありませんでした。社会における左利きの割合についてはかなり良い考えがあります。）事前分布（rの仮定）とデータの両方を取得しました。 2つを組み合わせます。事後は、データを考慮した後の左利きの分布の新しい仮定です。したがって、データの尤度を取得し、それをユニフォームで乗算します。ベータ分布の期待値（ポスターが何であるか）は$ \ frac {\ alpha} {\ alpha + \ beta} $です。したがって、開始したとき、$ \ alpha $ = 1および$ \ beta $ = 1での仮定は、世界の左利きの割合が$ \ frac {1} {2} $であるというものでした。これで、18人中2人の左利きのデータを収集しました。後部を計算しました。 （まだベータ版です）$ \ alpha $と$ \ beta $の値が異なり、左利きと右利きの比率の考え方が変わりました。どのように変更されましたか？

質問の最初の部分で、「r」の適切な事前定義を定義するように求められます。 “。二項データが手元にあるので、ベータ分布を選択するのが賢明です。なぜなら、後部はベータになるからです。一様分布はベータの特殊なケースであるため、「r」の事前分布を選択して、「r」のすべての可能な値が等しくなる可能性を持たせることができます。

2番目の部分で提供した事前分布「r」に関する情報。

これを手にすると、@ COOLSerdashの回答から適切な指示が得られます。

この質問を投稿していただきありがとうございます。COOLSerdashは適切な回答を提供していただきありがとうございます。