Mi a rendszeresítés egyszerű angol nyelven?

Egyszerűbben fogalmazva, a szabályozás a modell bonyolultságának előnyben részesített szintjének beállítása vagy kiválasztása, így a modelljei jobban meg tudják jósolni (általánosítani). Ha ezt nem teszi meg, akkor a modelljei lehetnek túl összetettek és túlfeszítettek, vagy túl egyszerűek és alulrepülőek, akárhogy is, rossz előrejelzéseket adnak.

Ha a legkevesebb négyzetek illesztenek egy komplex modellt egy kis edzésadathoz. valószínűleg túlfeszítené, ez a leggyakoribb helyzet. A modell optimális bonyolultsága a modellezendő folyamat fajtájától és az adatok minőségétől függ, tehát nincs a priori helyes komplexitás egy modellt.

A szabályosításhoz két dologra van szükség:

1. A tesztelés módja, hogy a modellek mennyire jósolnak előrejelzést, például keresztellenőrzés vagy validációs adatok összessége ( ehhez nem használható a illesztési hiba ).
2. Hangolási paraméter, amely lehetővé teszi a modell bonyolultságának vagy simaságának megváltoztatását, vagy a különböző összetettségű / simaságú modellek választékát.

Alapvetően beállítja a bonyolultsági paramétert (vagy megváltoztatja a modellt), és megtalálja azt az értéket, amely a legjobb előrejelzést adja a modell számára.

Ne feledje, hogy az optimalizált szabályozási hiba nem lesz a teljes becslés pontos becslése hiba, így a szabályozás után végül egy további validációs adatkészletet kell használnia, vagy további statisztikai elemzést kell végeznie az elfogulatlan előrejelzési hiba eléréséhez.

A (kereszt) validációs teszt alternatívája a Bayesian Priors vagy egyéb módszerek a bonyolultság vagy a nem simaság büntetésére, de ezek nagyobb statisztikai kifinomultságot és a probléma és a modell jellemzőinek ismeretét igénylik.

Megjegyzések

• +1 tőlem. Tetszik, hogy ez a válasz az elején kezdődik, és így könnyen érthető …
• Valóban használják-e a legalizálást az alulteljesítés csökkentésére? Tapasztalataim szerint a szabályozást egy komplex / érzékeny modellen alkalmazzák a komplexitás / érzékenység csökkentése érdekében, de soha nem egy egyszerű / érzéketlen modellen a komplexitás / érzékenység növelése érdekében.
• Ez a válasz mára már elég régi, de feltételezem, hogy Toby arra hivatkozott, hogy a rendszeresítés elvi módszer a megfelelő bonyolultságú modell illesztésére az adatok mennyiségére tekintettel; alternatívát jelent mind a priori, mind a túl kevés (vagy nem megfelelő) paraméterű modell kiválasztása, valamint a túl összetett és túlterhelt modell kiválasztása között.

Tegyük fel, hogy a tanulást empirikus kockázatminimalizálás útján hajtja végre.

Pontosabban:

• megkapta a nem negatív veszteségfüggvényét $ L (\ text {aktuális érték}, \ text {előrejelzett érték}) $, amely jellemzi, hogyan rosszak az előrejelzései
• úgy akarja illeszteni a modelljét, hogy az előrejelzései minimalizálják a veszteségfüggvény átlagát, amelyet csak az edzésadatok (az egyetlen adat) alapján számolnak.

Ezután a tanulási folyamat célja $ $ text {Model} = \ text {argmin} \ sum L (\ text {aktuális}, \ text {predicted} (\ text {Model})) $ (ez módszert empirikus kockázatminimalizálásnak hívják).

De ha még nincs elegendő adatod, és a modelledben hatalmas mennyiségű változó található, akkor nagyon valószínű, hogy találsz egy ilyen modellt, amely nemcsak a mintákat magyarázza hanem megmagyarázza az adatok véletlenszerű zaját is. Ezt a hatást túlillesztésnek nevezzük, és ez a modell általánosítási képességének romlásához vezet.

A túlillesztés elkerülése érdekében a célfüggvénybe bevezetünk egy szabályosítási kifejezést: text {Model} = \ text {argmin} \ sum L (\ text {actua l}, \ text {predicted} (\ text {Model})) + \ lambda R (\ text {Model}) $

Ez a $ R (\ text {Model}) $ kifejezés általában különleges büntetés a komplex modelleken. Például nagy együtthatós modelleken (L2 szabályozás, $ R $ = együtthatók négyzetének összege) vagy sok, ha nem nulla együtthatóval (L1 szabályozás, $ R $ = az együtthatók abszolút értékeinek összege). Ha döntési fát képezünk, akkor a $ R $ lehet a mélysége.

Egy másik szempont, hogy a $ R $ bemutatja előzetes tudásunkat a legjobb modell egyik formájáról (“nincs” nagy együtthatók “,” majdnem merőleges a $ \ bar a $ -ra “)

Egyszerűbben fogalmazva, szabályozás arról szól, hogy részesüljön azokból a megoldásokból, amelyeket elvárhat. Mint említette, például az “egyszerű” megoldások előnyeit élvezheti az egyszerűség bizonyos meghatározása érdekében. Ha a problémának vannak szabályai, akkor egy definíció kevesebb szabályt tartalmazhat. De ez problémától függ.

Ön azonban a megfelelő kérdést teszi fel. Például a Support Vector Machines alkalmazásban ez az „egyszerűség” a kapcsolatok megszakításából származik a „maximális margó” irányába. Ez a margó valami, ami egyértelműen meghatározható a probléma szempontjából. Nagyon jó geometriai levezetés található a Wikipédia SVM cikkében . Kiderült, hogy a , legalábbis vitathatatlanul, az SVM-ek “titkos szósza”.

Hogyan végezheti el a szabályozást? Általában ez a használt módszerrel jár, ha SVM-eket használ, akkor L2-es szabályozást végez, ha LASSO L1-es szabályozást végezel (nézd meg, mit mond a hairybeast). Ha azonban kidolgozod a saját módszeredet, tudnod kell, hogyan lehet ezt elmondani kívánatosnak a nem kívánatos megoldásoktól, és van egy funkciója, amely ezt számszerűsíti. Végül megvan a költség és a szabályozási kifejezés, és optimalizálni szeretné mindkettő összegét.

A szabályozási technikák olyan gépi tanulási modellekre alkalmazott technikák, amelyek simábbá teszik a döntési határt / az illesztett modellt. Ezek a technikák segítenek megakadályozni a túlillesztést.

Példák: L1, L2, Dropout, Súlycsökkenés a neurális hálózatokban. Paraméter $ C $ SVM-ekben.

Egyszerű kifejezéssel élve, a regularizáció egy olyan technika, amely elkerüli a túlzott illeszkedést a gépi tanulás során Ha van elegendő szabad paraméterrel rendelkező algoritmusa, akkor nagyon részletesen interpolálhatja a mintáját, de a mintán kívül eső példák nem biztos, hogy követik ezt a részletinterpolációt, mivel csak a zajban vagy véletlenszerű szabálytalanságokban rögzítette a mintát a valódi trend helyett. / p>

A túlillesztés elkerülhető a modellben szereplő paraméterek abszolút értékének korlátozásával. Ez úgy tehető, hogy egy kifejezést hozzáadunk a költségfüggvény, amely büntetést szab ki a modell paramétereinek nagysága alapján. Ha a nagyságot L1 normában mérjük, ezt “L1-es szabályozásnak” nevezzük (és általában ritka modelleket eredményezünk), ha L2-normában mérjük, akkor ezt “L2-es szabályozásnak” nevezzük, és így tovább.