Elastic Net Seminar: Regularisierungstechniken ... - Benjamin Hofner

Recommendations

Info

Elastic NetSeminar: Regularisierungstechniken für hochdim. RegressionsproblemeBenjamin Hofner28.11.20062.2.2 Unstetigkeitsstellen des Strafterms und VariablenselektionDie Schätzgleichung für penalisierte KQ-Probleme lässt sich in 2 Teile aufteilen, die Residuenquadratsummeund die Nebenbedingung. Dabei lässt sich die Residuenquadratsumme in Abhängigkeitvon ˆβ OLS folgendermaßen umschreiben(y − Xβ) T (y − Xβ) = c⇐⇒ (β − ˆβ OLS ) T X T X(β − ˆβ OLS ) = cSomit erhalten wir Ellipsen mit Zentrum ˆβ OLS . Diese kann man im Abbildung 2 erkennen. Diegrauen Flächen stellen die jeweilige Nebenbedingung dar. Die Lösung des penalisierten KQ-Problemsergibt sich dann als erster Berührpunkt der Ellipsen mit der Penalisierung. Man kann aus dervereinfachenden Grafik (p = 2) erkennen, dass dieser Berührpunkt für Lasso auch an den Eckendes Quadrats liegen kann, für Ridge-Penalisierung jedoch nicht. Dies führt im Lasso-Fall somitpotentiell zu einem auf Null gesetzten Koeffizienten.βthereisatleastmoderatecorrelationinthedata,thisneednotbetrue.Figure Figure2:Estimationpictureforthelasso(left)andridgeregression(right)βinwhichitscenterlies. thattheellipsetouchestheconstraintregioninadierentoctantthantheone 3showsanexampleinthreedimensions.TheviewintherightplotconrmsFigure2horizontally.Asaresult,largervaluesof1andsmallervaluesof2 writtenasPjxijwithconstraintPj=ôjt.Ifforexamplep=2and willbefavouredbythegarotte. thepresenceoftheordinaryleastsquaresestimatesinthegarottecanmake itbehavedierently.ThemodelPcjôjxijwithconstraintPcjtcanbe Evenincaseswherethelassoestimatehasthesamesignvectorasthegarotte, ô1>ô2>0thentheeectwouldbetostretchthesquareintheleftpanelof Whilethegarotteretainsthesignofeachôj,thelassocanchangesigns.2.4Moreonthetwopredictorcase Supposep=2,andassumewithoutlossofgeneralitythattheleastsquares ô(OLS)ˆβ (NEnet) [ | ˆβ i | − λ12i = ] + (OLS)sgn{ ˆβ1 + λ 2Abbildung 2: Zweidimensionale Darstellung des KQ-Schätzers unter der Nebenbedingung des Lasso(links) und der Ridge-Regression (rechts)Man kann sich nun überlegen, dass dies analog zum Lasso auch für die Elastic Net Penalisierunggilt, da diese an den Achsen ebenfalls Unstetigkeitsstellen – also ”Knicke” – hat (vgl Kap. 2.2).2.2.3 Interpretation als 2 Stufen VorgangBetrachten wir nun ein orthogonales Design. In diesem Fall kann man die Schätzer ˆβ i explizitangeben. Der klassische KQ-Schätzer lässt sich schreiben alsda X T X = I ist.Mit Schätzer (6) ergibt sich der Elastic Net Schätzerˆβ (OLS) = X T y (6)i } (7)6
Elastic NetSeminar: Regularisierungstechniken für hochdim. RegressionsproblemeBenjamin Hofner28.11.2006{ z z > 0mit [z] +=.0 sonstBetrachten wir nun noch den Ridge und den Lasso Schätzer im orthogonalen Fall, so ergeben sichdiese alsˆβ (Ridge)i =ˆβ(OLS)i1 + λ 2(8)ˆβ (Lasso)(OLS)i = [ | ˆβ i | − λ 12 ] (OLS)+sgn{ ˆβ i } (9)Man erkennt aus Gleichung (7), dass die Naïve Elastic Net Schätzung eine zweistufige Prozedur ist.Zuerst erfolgt eine Lasso Verschiebung (9) gefolgt von einem Ridge Shrinkage (8).Diese Interpretation des Naïve Elastic Net als 2 Stufen Vorgang kann man auch in Abbildung 3erkennen. Dazu betrachten wir zuerst den KQ-Schätzer. Hier gibt es keinen Bias, der geschätzteWert ist gleich dem wahren Wert. Die Ridge Regression liefert nun einen geshrinkten Schätzer,das heißt, die Steigung der Geraden wird kleiner. Lasso hingegen verschiebt die Winkelhalbierende(KQ-Schätzer) jeweils von Null weg. Die Naïve Elastic Net Lösung ist zuerst, wie Lasso, von Nullverschoben und erhält dann die gleiche (geshrinkte) Steigung wie der Ridge Schätzer.^ββAbbildung 3: Orthogonales Design: Exakte Lösungen für OLS ( ), Ridge ( ), Lasso ( ) undNaïve Elastic Net ( ) (λ 1 = 2, λ 2 = 1)7
Page 2 and 3: Elastic NetSeminar: Regularisierung
Page 16: Elastic NetSeminar: Regularisierung

Elastic Net Seminar: Regularisierungstechniken ... - Benjamin Hofner

Create successful ePaper yourself

Delete template?

Save as template?