Jeg har alltid tenkt på logistisk regresjon som ganske enkelt et spesielt tilfelle av binomial regresjon der lenkefunksjonen er den logistiske funksjonen (i stedet for, si, en sannsynlighet funksjon.).
Etter å ha lest svarene på et annet spørsmål , hadde jeg det, men det høres ut som om jeg kan være forvirret, og det er en forskjell mellom logistisk regresjon og binomial regresjon med en logistisk lenke.
Hva er forskjellen?
Svar
Logistisk regresjon er en binomial regresjon med «logistisk» lenkefunksjon:
$$ g (p) = \ log \ left (\ frac {p} {1-p} \ right) = X \ beta $$
Selv om jeg også tror logistisk regresjon vanligvis blir brukt på binomiale proporsjoner i stedet for binomialtall.
Kommentarer
- Hva mener du med at logistisk regresjon vanligvis blir brukt på proporsjoner i stedet for tellinger? Anta at jeg ' prøver å forutsi om folk vil delta på en fest eller ikke, og at jeg for en bestemt fest vet at 9 personer deltok og 1 ikke – mener du det logistisk regresjon tar dette som ett treningseksempel (dvs. at dette partiet hadde en suksessrate på 0,9), mens binomiell regresjon med en lenke ville tatt dette som 10 treningseksempler (9 suksesser, 1 fiasko)?
- @ raehtin – i begge tilfeller vil det være $ 1 $ sample / training case, med henholdsvis $ (n_i, f_i) = (10,0.9) $ og $ (n_i, x_i) = (10,9) $. Forskjellen er formen for middel- og variansfunksjonene. For binomial er middelverdien $ \ mu_i = n_ip_i $, den kanoniske lenken er nå $ \ log \ left (\ frac {\ mu_i} {n_i- \ mu_i} \ høyre) $ (også kalt " naturlig parameter "), og avviksfunksjonen er $ V (\ mu_i) = \ frac {\ mu_i (n_i- \ mu_i)} {n_i} $ med spredningsparameter $ \ phi_i = 1 $. For logistikk har vi bety $ \ mu_i = p_i $, lenken ovenfor, variansfunksjon av $ V (\ mu_i) = \ mu_i (1- \ mu_i) $ og spredning lik $ \ phi_i = \ frac {1} {n_i } $.
- Med logistikk skilles $ n_i $ ut fra middel- og variansfunksjonene, så det kan lettere tas i betraktning via vekting
- Ah, skjønner, jeg tenk jeg skjønner. Betyr dette at de gir likeverdige resultater (rett og slett kommet frem fra en annen måte)?
- @raegtin – Jeg tror det. GLM-vektene, $ w_ {i} ^ {2} = \ frac {1} {\ phi_i V (\ mu_i) [g ' (\ mu_i)] ^ {2} } $, er like i begge tilfeller, og koblingsfunksjonen gir samme logit-verdi. Så så lenge X-variablene også er de samme, bør det gi de samme resultatene.
Svar
Binomial regresjon er en hvilken som helst type GLM som bruker et binomielt middelvariansforhold der variansen er gitt av $ \ mbox {var} (Y) = \ hat {Y} (1- \ hat {Y}) $. I logistisk regresjon er $ \ hat {Y} = \ mbox {logit} ^ {- 1} (\ mathbf {X} \ hat {\ beta}) = 1 / (1- \ exp {(\ mathbf {X} \ hat {\ beta})}) $ med logit-funksjonen sies å være en «lenke» -funksjon. Imidlertid kan en generell klasse av binomiale regresjonsmodeller defineres med alle typer lenkefunksjoner, til og med funksjoner som gir et område utenfor $ [0,1] $. For eksempel tar probit-regresjon en kobling av den inverse normale CDF, relativ risikoregresjon tar som en lenke loggfunksjonen, og additive risikomodeller tar identitetslink-modellen.