Wat is het verschil tussen logistische regressie en Bayesiaanse logistische regressie?

De andere antwoorden zijn goed. Om de intuïtie te verduidelijken en wat meer details te geven:

• Bij logistieke regressie maximaliseert u de waarschijnlijkheidsfunctie $ p (y | \ beta_ {0}, \ beta_ {1}, x) $ (zoek MLE). Dat wil zeggen, u vindt de gewichten $ \ beta_ {0}, \ beta_ {1} $ die de kans maximaliseren hoe waarschijnlijk uw waargenomen gegevens zijn. Er is geen oplossing in gesloten vorm voor de MLE, dus u moet iteratieve methoden gebruiken. Dit geeft u een schatting van één punt van onze gewichten.
• Bij bayesiaanse logistische regressie begint u met een eerste overtuiging over de verdeling van $ p (\ beta_ {0}, \ beta_ {1}) $. Vervolgens $ p (\ beta_ {0}, \ beta_ {1} | x, y) \ propto p (y | \ beta_ {0}, \ beta_ {1}, x) p (\ beta_ {0}, \ beta_ {1}) $. Dat wil zeggen, de posterieure, wat onze bijgewerkte overtuiging is over de gewichten die worden gegeven, is evenredig met onze eerdere (aanvankelijke overtuiging) maal de waarschijnlijkheid. We kunnen de gesloten vorm posterieur niet evalueren, maar wel benaderen door middel van steekproeven of variatiemethoden. Dit geeft ons een verdeling over de gewichten. Als we bijvoorbeeld een normale benadering gebruiken voor $ \ beta_ {0} $ en $ \ beta_ {1} $ met behulp van variatiemethoden, dan krijgen we een gemiddelde en variantie voor $ \ beta_ {0} $, en ook een voor $ \ beta_ {1} $.

Voor meer details over beide technieken zijn deze aantekeningen van een lezing uitstekend http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf .

Opmerkingen

• Maximale waarschijnlijkheidsschatting geeft wel een puntschatting van de parameters, maar men kan ook en moet een schatting van onzekerheid geven door gebruik te maken van normale benadering gerechtvaardigd door de grote steekproefeigenschappen van maximale waarschijnlijkheidsschatters. Bayesiaanse logistieke regressies beginnen met eerdere informatie niet geloof. Als u geen voorafgaande informatie heeft, moet u een niet-informatieve prior gebruiken. Gelman et al. beveelt standaard logistische regressie Cauchy priors aan met schaal = 0,1 voor termen voor onderschepping en schaal = 0,4 voor termen voor hellingen.
• Bedankt. Kun je de betekenis van eerdere informatie verduidelijken?
• Het ' is meestal een kwestie van semantiek. Voorafgaande overtuiging en voorafgaande informatie zijn twee verschillende Engelstalige uitdrukkingen voor hetzelfde concept: de kansverdeling van de parameters die u in het model meeneemt. Ik leg de nadruk op de term informatie boven geloof, omdat je er echt een rechtvaardiging voor zou moeten hebben (bestaande literatuur, mening van een expert, een pilotstudie of zelfs een empirische schatting) anders dan je eigen geloof.
• Als de link dat niet doet ' t werk: web.archive.org/web/20150409022746/http://…

Stel dat u een set binaire waarnemingen $ Y_i $ voor $ i = 1, \ ldots, n $ en, voor elke waarneming, een bijbehorende verklarende variabele $ X_i $. Logistische regressie gaat uit van $$ Y_i \ stackrel {ind} {\ sim} Ber (\ pi_i), \ quad \ ln \ left (\ frac {\ pi_i} {1- \ pi_i} \ right) = \ beta_0 + \ beta_1 X_i. $$ Als u puntschattingen van de parameters verkrijgt via maximale waarschijnlijkheid, dan gebruikt u gewoon de bovenstaande aannames. Maar als u schattingen van de parameters verkrijgt met een Bayesiaanse benadering, dan moet u een prior definiëren voor $ \ beta_0 $ en $ \ beta_1 $, noem het $ p (\ beta_0, \ beta_1) $. Deze prior, samen met de aannames voor logistische regressie hierboven, is Bayesiaanse logistische regressie.

Ik beweer niet dat ik een expert ben op het gebied van logistieke regressie. Maar ik kan me voorstellen dat het ongeveer zo gaat – stel dat $ Y $ is een binaire willekeurige variabele die de waarde $ 0 $ of $ 1 $ aanneemt. Definieer $$ \ pi = \ mathbb {P} \ left (Y = 0∣X \ right) \ text {,} $$ waarbij $ X $ is de onafhankelijke variabele (voor de eenvoud ga ik uit van slechts één voorspeller). Logistische regressie neemt dan de vorm $$ \ ln \ left (\ dfrac {\ pi} {1- \ pi} \ right) = \ beta_0 + \ beta_1 X + \ epsilon $$ aan, waarbij $ \ epsilon $ onafhankelijk is van $ X $ en heeft een gemiddelde $ 0 $, en de $ \ beta_i $ worden geschat op basis van maximale waarschijnlijkheid. Met Bayesiaanse logistische regressie stel ik me voor dat je iets gebruikt als $$ \ pi = \ dfrac {\ mathbb {P} \ left (X = x \ mid Y = 0 \ right) \ mathbb {P} \ left (Y = 0 \ right)} {\ displaystyle \ sum \ limits_ {j} \ mathbb {P} \ left (X = x \ mid Y = j \ right) \ mathbb {P} \ left (Y = j \ right)} $$ en wijs iets toe voor de distributie van $ X \ mid Y = j $ en een voorafgaande distributie voor $ Y $. Dit is, vanuit mijn beperkte begrip, geloof ik de basis van lineaire discriminerende analyse.