Kun suoritetaan useita regressiomalleja R: ssä, yksi lähdöistä on jäännösstandardivirhe 0,0589 95161 vapausasteella. Tiedän, että 95161 vapausastetta antaa otoksen havaintojen määrän ja mallissani olevien muuttujien lukumäärän välinen ero. Mikä on jäännösstandardivirhe?
Kommentit
- Tämä kysymys ja sen vastaukset voivat auttaa: Miksi sanomme vakiojäännösvirheen?
- Nopea kysymys: Onko " vakiojäännösvirhe " sama kuin " jäännösvakiopoikkeama "? Gelman ja Hill (s.41, 2007) näyttävät käyttävän niitä vaihdettavasti.
Vastaa
Sovitettu regressio malli käyttää parametreja pisteestimaattiennusteiden luomiseen, jotka ovat havaittujen vastausten keskiarvo, jos haluat replikoida tutkimuksen samoilla $ X $ -arvoilla ääretön määrä kertoja (ja kun lineaarinen malli on totta). Näiden ennustettujen arvojen ja malliin sopivien arvojen välistä eroa kutsutaan ”jäännöksiksi”, joilla tiedonkeruuprosessia toistettaessa on satunnaismuuttujien ominaisuuksia 0 keskiarvolla.
Havaittuja jäännöksiä käytetään sitten näiden arvojen vaihtelun jälkiarviointiin ja parametrien näytteenottojakauman arvioimiseen. Kun jäännösstandardivirhe on täsmälleen 0, malli sopii dataan täydellisesti (todennäköisesti yliasennuksen vuoksi). Jos jäännösstandardivirheen ei voida osoittaa eroavan merkittävästi ehdottoman vasteen vaihtelusta, on vain vähän todisteita siitä, että lineaarisella mallilla olisi ennustekyky.
Kommentit
- Tähän on ehkä vastattu aiemmin. Katso, tarjoaako tämä kysymys tarvitsemasi vastaukset. [Tulkinta R ' s lm () -lähdöstä] [1] [1]: stats.stackexchange.com/questions/5135 / …
Vastaa
Sano sinulla on seuraava ANOVA-taulukko (mukautettu R ”s example(aov) -komennosta):
Df Sum Sq Mean Sq F value Pr(>F) Model 1 37.0 37.00 0.483 0.525 Residuals 4 306.3 76.57 Jos jaat summan neliöiden mistä tahansa muunnelähteestä (malli tai jäännökset) sen vastaavien vapausasteiden mukaan, saat keskimääräisen neliön. Erityisesti jäännöksille:
$$ \ frac {306.3} {4} = 76.575 \ noin 76,57 $$
Joten 76,57 on jäännösten keskimääräinen neliö eli vastemuuttujan jäännösmuutoksen (mallin soveltamisen jälkeen) määrä.
vakiojäännösvirhe , josta olet kysynyt, ei ole muuta kuin keskimääräinen neliövirhe . Esimerkissäni jäljellä oleva vakiovirhe olisi yhtä suuri kuin $ \ sqrt {76.57} $ tai noin 8.75. R tuottaisi nämä tiedot muodossa ”8,75 neljällä vapausasteella”.
Kommentit
- Äänestin @AdamO: n vastausta, koska henkilö, joka käyttää regressiota suoraan useimmin, tämä vastaus oli minulle suoraviivaisin. Arvostan kuitenkin tätä vastausta, koska se kuvaa ANOVA: n ja lineaarisen regressioiden merkinnän / käsitteellisen / metodologisen suhteen.
Vastaus
Tavallisesti regressiomalli näyttää tältä: $$ Y = \ beta_ {0} + \ beta_ {1} X + \ epsilon $$, jossa $ \ epsilon $ on virhetermi, joka ei riipu $ X $: sta.
Jos $ \ beta_ {0} $ ja $ \ beta_ {1} $ tunnetaan, emme voi silti ennustaa täydellisesti Y: n käyttämistä X: llä $ \ epsilon $: n vuoksi. Siksi käytämme RSE: tä $ $ epsilon $: n keskihajonnan arviointiarvona.
RSE on selitetty melko selkeästi kohdassa ”Johdatus tilastolliseen oppimiseen”.
kommentit
- Tämän pitäisi olla hyväksytty vastaus. RSE on vain arvio $ \ epsilon $: n keskihajonnasta, ts. Jäännös. Se ' tunnetaan myös nimellä jäännösvakiopoikkeama (RSD), ja se voidaan määritellä nimellä $ RSE = \ sqrt {\ frac {RSS} {(n-2)}} $ (esim. katso ISL sivu 66).
- Kaikille, jotka lukevat ISL: n epubia, voit etsiä " sivun 66 " ja ctrl-f " vakiovirhe. " (Epub-tiedostoilla ei ole oikeita sivunumeroita).
vastaus
vakiojäännösvirhe on $ \ sqrt {MSE} $ . $ MSE $ on puolueeton estimaatti arvosta $ \ sigma ^ 2 $ , jossa $ \ sigma ^ 2 = Var (y | x) $ .
Jotta @Silverfish ja @Waldir Leoncio saisivat vastauksen selvemmäksi.
Yhteenveto kaikista määritelmistä näytettiin alla. Aina hämmentyivät näistä termeistä, laita se tänne sen sijaan, että tekisit siitä paremman muotoilun kommentin.
SLR / Simple Linearin Anova-taulukko Regressio (DF on erilainen moniregressiossa):
| Lähde | DF | Summa Sq | Keskimääräinen Sq | F-arvo |
|---|---|---|---|---|
| Regressio | $ 1 $ | $ SSR $ | $ MSR = \ frac {SSR} {1} $ | $ \ frac {MSR} {MSE} $ |
| Jäännös | $ n – 2 $ | $ SSE $ | $ MSE = \ frac {SSE} {n – 2} $ | |
| Yhteensä | |
$ SST $ |