Jag fick den här elementära frågan via e-post:
I en regressionsekvation är jag korrekt när jag tänker att om beta-värdet är positivt har den beroende variabeln ökat som svar på större användning av den oberoende variabeln, och om den negativa variabeln har minskat som svar på en den oberoende variabeln – liknar hur du läser korrelationer?
Kommentarer
- @Jeromy, med betavikter menar du linjära regressionskoefficienter?
- @mp Konventionellt är betas koefficienterna när alla variabler har standardiserats. (Det skulle omedelbart göra dem igenkännliga som partiella korrelationer, svara på frågan … 🙂
- @ayush Jag inser att det är en elementär fråga, så gärna inte svara på den själv. Jag tror dock att webbplatsen kan dra nytta av att ha frågor på olika svårighetsgrader; och jag ' vill lägga till mitt eget svar efter att ha gett andra en chans att svara som tar upp några allmänna frågor.
- Bra poäng, @Jeromy. Jag ' är säker på att @ayush inte skulle ha gett en sådan kommentar (som lätt kunde tolkas som oförskämd eller värre) var samma fråga som en ny användare ställde. Låt ' ta detta som ett vittnesbörd om ditt höga rykte här och se om något av svaren hjälper till att upplysa din korrespondent.
- @whuber. bra poäng. Att vara statistikkonsult inom psykologi får jag ibland frågor via e-post som är ganska elementära. Min ideala situation är att uppmuntra sådana studenter att posta direkt här. I allmänhet föredrar jag att svara på dessa frågor på den här webbplatsen snarare än att skicka ett e-postsvar till eleven. På så sätt kan mitt svar vara en pågående resurs för internet, och andra kan komma med ett ännu bättre svar.
Svar
När jag förklarade innebörden av regressionskoefficient fann jag att följande förklaring är mycket användbar. Anta att vi har regressionen
$$ Y = a + bX $$
Säg $ X $ ändringar med $ \ Delta X $ och $ Y $ ändringar med $ \ Delta Y $ . Eftersom vi har det linjära förhållandet har vi
$$ Y + \ Delta Y = a + b (X + \ Delta X) $$
Eftersom $ Y = a + bX $ får vi det
$$ \ Delta Y = b \ Delta X. $$
Att ha detta är lätt att se att om $ b $ positivt, kommer en positiv förändring i $ X $ att resultera i positiv förändring i $ Y $. Om $ b $ är negativt kommer positiv förändring i $ X $ att resultera i negativ förändring i $ Y $.
Obs: Jag behandlade den här frågan som en pedagogisk fråga, dvs ger enkel förklaring.
Anmärkning 2: Som påpekats av @whuber har denna förklaring ett viktigt antagande om att förhållandet gäller för alla möjliga värden på $ X $ och $ Y $. I verkligheten är detta ett mycket begränsande antagande, å andra sidan är förklaringen giltig för små värden på $ \ Delta X $, eftersom Taylor-satsen säger att relationer som kan uttryckas som differentierbara funktioner (och detta är ett rimligt antagande att göra ) är linjära lokalt.
Kommentarer
- … förutsatt att beteendet verkligen är linjärt över hela intervallet av $ X $ -värden! (Ett mer försiktigt svar kan sätta samma idé när det gäller genomsnittliga förändringar och också undvika antydningar om att antyda att förhållandet är kausalt.)
- @whuber, jag visste att sätta ordet bäst var inte ett klokt val 🙂 Tack för din kommentar, jag ' Jag försöker att omformulera svaret.
- @mp " Bästa " är inte ' t nödvändigtvis ett problem. Jag ' jag försöker bara ge dig svårt 🙂 (Men " inducerar " fick min uppmärksamhet …) Om du ' verkligen efter " bäst " förklaring, kom ihåg att en vanlig förvirringspunkt bland oinitierade är hur man tolkar interaktionskoefficienter: trots allt kan du ' t oberoende variera (säg) $ XY $; du gör det genom att variera antingen $ X $ eller $ Y $ eller båda. Så en förklaring som hanterar den situationen skulle vara mycket välkommen.
- @whuber, ja inducera var ett dåligt val. Jag ' Jag lämnar förklaringen av interaktionsvillkor för någon annan 🙂
- @mp re Obs 2: Ah, Taylor ' s teorem! Men verkliga data är inte ' inte ens kontinuerliga, mycket mindre differentierbara. -modellen kan ha dessa matematiska egenskaper. Speciellt i förklaringar för oinvigda kan det vara värt att skilja modell ' beteende från beteendet vi förväntar oss av data.Dessutom säger Taylor ' sats lite om intervallet på $ X $ -värden som nästan linjäritet gäller. Regressionsmodellen säger att detta intervall är oändligt!
Svar
Som @gung noterar finns det olika konventioner angående betydelsen av ($ \ beta $, dvs ”beta”). I den bredare statistiska litteraturen används beta ofta för att representera icke-standardiserade koefficienter. Men i psykologi (och kanske andra områden) skiljer man ofta mellan b för icke-standardiserade och beta för standardiserade koefficienter. Detta svar antar att sammanhanget indikerar att beta representerar standardiserade koefficienter:
-
Betavikter: Som @whuber nämnde är ”beta-vikter” enligt konvention standardiserade regressionskoefficienter (se wikipedia om standardiserad koefficient ). I detta sammanhang används $ b $ ofta för icke-standardiserade koefficienter och $ \ beta $ används ofta för standardiserade koefficienter.
-
Grundläggande tolkning : En betavikt för en given prediktorvariabel är den förutsagda skillnaden i utgångsvariabeln i standardenheter för en standardavvikelseökning på den givna prediktorvariabeln som innehåller alla andra prediktorer konstant.
-
Allmän resurs vid multipel regression: Frågan är elementär och innebär att du bör läsa lite allmänt material om multipel regression ( här är en elementär beskrivning av Andy Field ).
-
Orsak: Var försiktig med språk som ”den beroende variabeln har ökat som svar på större användning av den oberoende variabeln” . Ett sådant språk har kausala konnotationer. Betavikt i sig räcker inte för att motivera en kausal tolkning. Du skulle behöva ytterligare bevis för att motivera en kausal tolkning.
Kommentarer
- +1 Observera dock att det finns är olika konventioner med avseende på användningen av termer i statistik. Till exempel används ' beta ' / $ \ beta $ för att beteckna den sanna parametern som styr datagenereringsprocessen, & ' beta hat ' / $ \ hat \ beta $ hänvisar till lutningsuppskattningen beräknad i ditt prov. I det här fallet innebär de inte att variablerna har standardiserats 1: a. Denna varierande användning är olycklig, men ändå verklig. Det är viktigt att vara tydlig om hur termer används när man möter dem, snarare än att anta att alla menar samma sak.
- @gung bra poäng; Jag ' har uppdaterat mitt svar för att införliva detta.