Mitä on laillistaminen tavallisella englanniksi?

Toisin kuin muut artikkelit, pidin tämän aiheen wikipedia -merkintää lukukelvottomaksi muulle kuin muulle -matkustaja (kuten minä).

Ymmärsin perusajatuksen, että suositte malleja, joissa on vähemmän sääntöjä. En saa sitä, miten pääset sääntöjoukosta ”laillistamispisteeseen”, jonka avulla voit lajitella mallit vähimmäisvaatimuksista eniten sopiviin.

Voitteko kuvata yksinkertaisen laillistamismenetelmän ?

Olen kiinnostunut tilastointijärjestelmien analysoinnista. Olisi hienoa, jos voisit kuvata, voinko / kuinka voin soveltaa laillistamista kahden seuraavan ennustavan mallin analysointiin:

Malli 1 – hinta nousee, kun:

  • exp_moving_avg ( hinta, jakso = 50)> exp_moving_avg (hinta, jakso = 200)

Malli 2 – hinta nousee, kun:

  • hinta [n] < hinta [n-1] 10 kertaa peräkkäin
  • exp_moving_avg (price, period = 200) nousee

Mutta Olen kiinnostunut saamaan tunteen siitä, miten teet laillistamisen. Joten jos tiedät parempia malleja sen selittämiseksi, tee niin.

Kommentit

  • Esimerkki on harjanteen regressio, joka on OLS, joka on sidottu neliökerrointen summaan.Tämä tuo malliin ennakkoarvoa, mutta vähentää kertoimien varianssia, joskus huomattavasti. LASSO on toinen siihen liittyvä menetelmä, mutta asettaa L1: n kertoimien koon rajoitus. Sen etuna on kertoimien pudottaminen. Tämä on hyödyllinen p > n tilanteita Säännöllistäminen tarkoittaa tavallaan ” kutistumista ” malli liiallisen istuvuuden välttämiseksi (ja kerroinvarianssin vähentämiseksi), mikä yleensä parantaa mallin ennustavaa suorituskykyä ’.
  • @HairyBeast Sinun tulisi laita kommenttisi vastaukseksi. Jos mahdollista, yritä lisätä havainnollistava esimerkki, jotta toimenpideohjelma voi selvittää, miten se tarkoittaa käsiteltävää ongelmaa.
  • @HairyBeast, joten voin sanoa, että laillistaminen on vain tapa toteuttaa ajatus bias-varianssi-kompromissi ?
  • Minusta tämä video oli erittäin hyödyllinen etenkin visualisoitaessa Lp-laillistamisen eri muotoja: youtube. com / watch? v = sO4ZirJh9ds
  • Säännönmukaistaminen on tarkoitettu oppimallin ylivarusteen korjaamiseen. Yritti selittää yksinkertaisella englannilla ja visuaalisesti. Seuraava on linkki artikkeliin medium.com/@vamsi149/…

vastaus

Yksinkertaisesti sanottuna laillistaminen on mallin monimutkaisuuden suositellun tason säätäminen tai valitseminen, jotta mallisi pystyvät paremmin ennustamaan (yleistämään). Jos et tee tätä, mallisi saattavat olla liian monimutkaisia ja liian yksinkertaisia tai liian yksinkertaisia ja alikuntoisia, mikä antaa joko heikkoja ennusteita.

Jos vähiten neliöt sopivat monimutkaiseen malliin pieneen joukkoon harjoitustietoja luultavasti ylivarustat, tämä on yleisin tilanne. Mallin optimaalinen monimutkaisuus riippuu mallintamastasi prosessista ja tietojen laadusta, joten a-priori oikea monimutkaisuus ei ole mallista.

Laillistamiseksi tarvitset 2 asiaa:

  1. Tapa testata malliesi ennustamisen tasoa, esimerkiksi käyttämällä ristivalidointia tai joukkoa validointitietoja (sinun on ei voi käyttää sovitusvirhettä tähän).
  2. Viritysparametri, jonka avulla voit muuttaa mallin monimutkaisuutta tai sileyttä tai valikoima erilaisia monimutkaisuuden / sileyden malleja.

Pohjimmiltaan mukautat monimutkaisuusparametria (tai vaihdat mallia) ja löydät arvon, joka antaa parhaat malliennusteet.

Huomaa, että optimoitu laillistamisvirhe ei ole tarkka arvio kokonaisennusteesta virhe, joten laillistamisen jälkeen joudut vihdoin käyttämään ylimääräistä validointitietojoukkoa tai suorittamaan jonkin muun tilastollisen analyysin saadaksesi puolueettoman ennustusvirheen.

Vaihtoehto (ristiin) validointitestaukselle on käyttää Bayesian Priorsia tai muut menetelmät monimutkaisuuden tai epätasaisuuden rankaisemiseksi, mutta ne edellyttävät enemmän tilastollista hienostuneisuutta ja ongelman ja mallin ominaisuuksien tuntemusta.

Kommentit

  • +1 minulta. Pidän siitä, että tämä vastaus alkaa alusta ja on niin helppo ymmärtää …
  • Käytetäänkö laillistamista todella koskaan alipäästöjen vähentämiseen? Kokemukseni mukaan laillistamista käytetään monimutkaisessa / herkässä mallissa monimutkaisuuden / herkkyyden vähentämiseksi, mutta ei koskaan yksinkertaisessa / tuntemattomassa mallissa monimutkaisuuden / herkkyyden lisäämiseksi.
  • Tämä vastaus on nyt melko vanha, mutta oletan, että Toby viittasi siihen, että laillistaminen on periaatteellinen tapa sovittaa sopivan monimutkaisuusmalli tietojen määrän perusteella; se on vaihtoehto sekä sellaisen mallin valinnalle a priori, jolla on liian vähän parametreja (tai väärät parametrit), että myös liian monimutkaisen ja liian sopivan mallin valitsemiseen.

Vastaus

Oletetaan, että suoritat oppimista empiirisen riskien minimoinnin avulla.

Tarkemmin sanottuna:

  • sinulla on ei-negatiivinen menetysfunktio $ L (\ text {todellinen arvo}, \ text {ennustettu arvo}) $, jotka kuvaavat miten huonot ennustuksesi ovat
  • haluat sovittaa mallisi siten, että sen ennusteet minimoivat menetysfunktion keskiarvon, joka lasketaan vain harjoitteludatan (ainoa sinulla oleva tieto) perusteella.

Sitten oppimisprosessin tavoitteena on löytää $ \ text {Model} = \ text {argmin} \ summa L (\ text {actual}, \ text {predicted} (\ text {Model})) $ (tämä menetelmää kutsutaan empiiriseksi riskien minimoinniksi).

Mutta jos et ole saanut tarpeeksi tietoa ja mallissasi on valtava määrä muuttujia, on erittäin todennäköistä löytää sellainen malli, joka ei vain selitä malleja mutta selittää myös tietojesi satunnaisen melun. Tätä vaikutusta kutsutaan yliasennukseksi ja se johtaa mallisi yleistyskyvyn heikkenemiseen.

Liiallisen sovituksen välttämiseksi kohdetoimintoon lisätään laillistustermi: $ \ teksti {malli} = \ text {argmin} \ summa L (\ text {actua l}, \ text {ennustettu} (\ text {Model})) + \ lambda R (\ text {Model}) $

Yleensä tämä termi $ R (\ text {Model}) $ asettaa erityinen rangaistus monimutkaisissa malleissa. Esimerkiksi malleissa, joilla on suuret kertoimet (L2-laillistaminen, $ R $ = kertoimien neliöiden summa) tai paljon, jos kertoimet eivät ole nollia (L1-laillistaminen, $ R $ = kertoimien absoluuttisten arvojen summa). Jos harjoittelemme päätöksentekopuuta, $ R $ voi olla sen syvyys.

Toinen näkökulma on, että $ R $ esittelee ennalta tietämyksemme parhaan mallin muodosta (”sillä ei ole myöskään” suuret kertoimet ”,” se on melkein kohtisuora kuin $ \ bar a $ ”)

Vastaa

Yksinkertaisesti sanottuna, laillistaminen on hyötyä ratkaisuista, joita voisit saada. Kuten mainitsette, voit esimerkiksi hyötyä ”yksinkertaisista” ratkaisuista, joillekin yksinkertaisuuden määritelmille. Jos ongelmasi sisältää sääntöjä, yksi määritelmä voi olla vähemmän sääntöjä. Mutta tämä on ongelmasta riippuvainen.

Esität kuitenkin oikean kysymyksen. Esimerkiksi Support Vector Machinesissa tämä ”yksinkertaisuus” johtuu katkaisemalla siteet ”maksimimarginaalin” suuntaan. Tämä marginaali on jotain, joka voidaan määritellä ongelman perusteella selkeästi. Wikipedian SVM -artikkelissa on erittäin hyvä geometrinen johdatus. Osoittautuu, että laillistustermi on , ainakin väitetysti, SVM: ien ”salainen kastike”.

Kuinka teet laillistamisen? Yleensä tämä liittyy käyttämäsi menetelmän kanssa, jos käytät SVM: iä, teet L2-laillistamista, jos LASSO teet L1-laillistamista (katso mitä hairybeast sanoo). Jos kuitenkin kehität omaa menetelmääsi, sinun on tiedettävä, kuinka kertoa toivottavalle ratkaisuja ei-toivotuista ratkaisuista, ja niillä on funktio, joka kvantifioi tämän. Loppujen lopuksi sinulla on kustannustermi ja laillistustermi, ja haluat optimoida molempien summan.

Vastaa

Sääntelytekniikat ovat koneoppimismalleihin sovellettavia tekniikoita, jotka tekevät päätöksentekorajasta / sovitetusta mallista sujuvamman. Nämä tekniikat auttavat estämään ylikuntoa.

Esimerkkejä: L1, L2, pudotus, painon heikkeneminen hermoverkoissa. $ C $ SVM: issä.

Vastaus

Yksinkertaisesti sanottuna säännönmukaistaminen on tekniikka, jolla vältetään liiallinen sovittaminen koneoppimisen harjoittelussa. Jos sinulla on riittävästi vapaita parametreja sisältävä algoritmi, voit interpoloida näytteesi hyvin yksityiskohtaisesti, mutta otoksen ulkopuolelle tulevat esimerkit eivät välttämättä noudata tätä yksityiskohtien interpolointia, koska se vain otti otokseen kohinaa tai satunnaisia epäsäännöllisyyksiä todellisen trendin sijaan. / p>

Yliasennus vältetään rajoittamalla mallin parametrien absoluuttista arvoa.Tämä voidaan tehdä lisäämällä termi kustannustoiminto, joka määrää sakon malliparametrien suuruuden perusteella. Jos suuruus mitataan L1-normissa, sitä kutsutaan ”L1-laillistukseksi” (ja se johtaa yleensä harvoihin malleihin), jos se mitataan L2-normissa, sitä kutsutaan ”L2-laillistukseksi” ja niin edelleen.

Vastaa

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *