Mitä on laillistaminen tavallisella englanniksi?

Yksinkertaisesti sanottuna laillistaminen on mallin monimutkaisuuden suositellun tason säätäminen tai valitseminen, jotta mallisi pystyvät paremmin ennustamaan (yleistämään). Jos et tee tätä, mallisi saattavat olla liian monimutkaisia ja liian yksinkertaisia tai liian yksinkertaisia ja alikuntoisia, mikä antaa joko heikkoja ennusteita.

Jos vähiten neliöt sopivat monimutkaiseen malliin pieneen joukkoon harjoitustietoja luultavasti ylivarustat, tämä on yleisin tilanne. Mallin optimaalinen monimutkaisuus riippuu mallintamastasi prosessista ja tietojen laadusta, joten a-priori oikea monimutkaisuus ei ole mallista.

Laillistamiseksi tarvitset 2 asiaa:

1. Tapa testata malliesi ennustamisen tasoa, esimerkiksi käyttämällä ristivalidointia tai joukkoa validointitietoja (sinun on ei voi käyttää sovitusvirhettä tähän).
2. Viritysparametri, jonka avulla voit muuttaa mallin monimutkaisuutta tai sileyttä tai valikoima erilaisia monimutkaisuuden / sileyden malleja.

Pohjimmiltaan mukautat monimutkaisuusparametria (tai vaihdat mallia) ja löydät arvon, joka antaa parhaat malliennusteet.

Huomaa, että optimoitu laillistamisvirhe ei ole tarkka arvio kokonaisennusteesta virhe, joten laillistamisen jälkeen joudut vihdoin käyttämään ylimääräistä validointitietojoukkoa tai suorittamaan jonkin muun tilastollisen analyysin saadaksesi puolueettoman ennustusvirheen.

Vaihtoehto (ristiin) validointitestaukselle on käyttää Bayesian Priorsia tai muut menetelmät monimutkaisuuden tai epätasaisuuden rankaisemiseksi, mutta ne edellyttävät enemmän tilastollista hienostuneisuutta ja ongelman ja mallin ominaisuuksien tuntemusta.

Kommentit

• +1 minulta. Pidän siitä, että tämä vastaus alkaa alusta ja on niin helppo ymmärtää …
• Käytetäänkö laillistamista todella koskaan alipäästöjen vähentämiseen? Kokemukseni mukaan laillistamista käytetään monimutkaisessa / herkässä mallissa monimutkaisuuden / herkkyyden vähentämiseksi, mutta ei koskaan yksinkertaisessa / tuntemattomassa mallissa monimutkaisuuden / herkkyyden lisäämiseksi.
• Tämä vastaus on nyt melko vanha, mutta oletan, että Toby viittasi siihen, että laillistaminen on periaatteellinen tapa sovittaa sopivan monimutkaisuusmalli tietojen määrän perusteella; se on vaihtoehto sekä sellaisen mallin valinnalle a priori, jolla on liian vähän parametreja (tai väärät parametrit), että myös liian monimutkaisen ja liian sopivan mallin valitsemiseen.

Oletetaan, että suoritat oppimista empiirisen riskien minimoinnin avulla.

Tarkemmin sanottuna:

• sinulla on ei-negatiivinen menetysfunktio $ L (\ text {todellinen arvo}, \ text {ennustettu arvo}) $, jotka kuvaavat miten huonot ennustuksesi ovat
• haluat sovittaa mallisi siten, että sen ennusteet minimoivat menetysfunktion keskiarvon, joka lasketaan vain harjoitteludatan (ainoa sinulla oleva tieto) perusteella.

Sitten oppimisprosessin tavoitteena on löytää $ \ text {Model} = \ text {argmin} \ summa L (\ text {actual}, \ text {predicted} (\ text {Model})) $ (tämä menetelmää kutsutaan empiiriseksi riskien minimoinniksi).

Mutta jos et ole saanut tarpeeksi tietoa ja mallissasi on valtava määrä muuttujia, on erittäin todennäköistä löytää sellainen malli, joka ei vain selitä malleja mutta selittää myös tietojesi satunnaisen melun. Tätä vaikutusta kutsutaan yliasennukseksi ja se johtaa mallisi yleistyskyvyn heikkenemiseen.

Liiallisen sovituksen välttämiseksi kohdetoimintoon lisätään laillistustermi: $ \ teksti {malli} = \ text {argmin} \ summa L (\ text {actua l}, \ text {ennustettu} (\ text {Model})) + \ lambda R (\ text {Model}) $

Yleensä tämä termi $ R (\ text {Model}) $ asettaa erityinen rangaistus monimutkaisissa malleissa. Esimerkiksi malleissa, joilla on suuret kertoimet (L2-laillistaminen, $ R $ = kertoimien neliöiden summa) tai paljon, jos kertoimet eivät ole nollia (L1-laillistaminen, $ R $ = kertoimien absoluuttisten arvojen summa). Jos harjoittelemme päätöksentekopuuta, $ R $ voi olla sen syvyys.

Toinen näkökulma on, että $ R $ esittelee ennalta tietämyksemme parhaan mallin muodosta (”sillä ei ole myöskään” suuret kertoimet ”,” se on melkein kohtisuora kuin $ \ bar a $ ”)

Yksinkertaisesti sanottuna, laillistaminen on hyötyä ratkaisuista, joita voisit saada. Kuten mainitsette, voit esimerkiksi hyötyä ”yksinkertaisista” ratkaisuista, joillekin yksinkertaisuuden määritelmille. Jos ongelmasi sisältää sääntöjä, yksi määritelmä voi olla vähemmän sääntöjä. Mutta tämä on ongelmasta riippuvainen.

Esität kuitenkin oikean kysymyksen. Esimerkiksi Support Vector Machinesissa tämä ”yksinkertaisuus” johtuu katkaisemalla siteet ”maksimimarginaalin” suuntaan. Tämä marginaali on jotain, joka voidaan määritellä ongelman perusteella selkeästi. Wikipedian SVM -artikkelissa on erittäin hyvä geometrinen johdatus. Osoittautuu, että laillistustermi on , ainakin väitetysti, SVM: ien ”salainen kastike”.

Kuinka teet laillistamisen? Yleensä tämä liittyy käyttämäsi menetelmän kanssa, jos käytät SVM: iä, teet L2-laillistamista, jos LASSO teet L1-laillistamista (katso mitä hairybeast sanoo). Jos kuitenkin kehität omaa menetelmääsi, sinun on tiedettävä, kuinka kertoa toivottavalle ratkaisuja ei-toivotuista ratkaisuista, ja niillä on funktio, joka kvantifioi tämän. Loppujen lopuksi sinulla on kustannustermi ja laillistustermi, ja haluat optimoida molempien summan.

Sääntelytekniikat ovat koneoppimismalleihin sovellettavia tekniikoita, jotka tekevät päätöksentekorajasta / sovitetusta mallista sujuvamman. Nämä tekniikat auttavat estämään ylikuntoa.

Esimerkkejä: L1, L2, pudotus, painon heikkeneminen hermoverkoissa. $ C $ SVM: issä.

Yksinkertaisesti sanottuna säännönmukaistaminen on tekniikka, jolla vältetään liiallinen sovittaminen koneoppimisen harjoittelussa. Jos sinulla on riittävästi vapaita parametreja sisältävä algoritmi, voit interpoloida näytteesi hyvin yksityiskohtaisesti, mutta otoksen ulkopuolelle tulevat esimerkit eivät välttämättä noudata tätä yksityiskohtien interpolointia, koska se vain otti otokseen kohinaa tai satunnaisia epäsäännöllisyyksiä todellisen trendin sijaan. / p>

Yliasennus vältetään rajoittamalla mallin parametrien absoluuttista arvoa.Tämä voidaan tehdä lisäämällä termi kustannustoiminto, joka määrää sakon malliparametrien suuruuden perusteella. Jos suuruus mitataan L1-normissa, sitä kutsutaan ”L1-laillistukseksi” (ja se johtaa yleensä harvoihin malleihin), jos se mitataan L2-normissa, sitä kutsutaan ”L2-laillistukseksi” ja niin edelleen.