Quando il modello impara troppo bene

Immagina di addestrare un modello di Machine Learning. I risultati sul set di training sono incredibili, quasi perfetti. Poi provi i dati di test e... disastro. L'accuratezza crolla. Benvenuto nel mondo dell'overfitting.

Il problema è semplice: il modello non ha imparato la regola generale, ha semplicemente memorizzato i dati. Ha inseguito ogni singolo rumore, ogni anomalia del dataset di addestramento, creando una funzione così complessa da diventare inutile per qualsiasi dato nuovo. Proprio qui entra in gioco la regolarizzazione L2.

In sostanza, l'L2 è un modo per dire al modello: "Sì, prova a minimizzare l'errore, ma non farlo usando pesi troppo grandi".

La logica dietro la Ridge Regression

Se hai familiarizzato con la regressione lineare, sai che l'obiettivo è minimizzare la somma dei quadrati degli errori (MSE). Ma se lasciamo che il modello faccia ciò che vuole, i coefficienti $\beta$ possono crescere a dismisura per adattarsi a ogni singolo punto del grafico.

La regolarizzazione L2, nota anche come Ridge Regression, aggiunge una "penalità" alla funzione di costo. Non ci interessa più solo l'errore di previsione, ma anche la grandezza dei pesi.

La formula diventa quindi:
Costo = Errore + $\lambda \sum w^2$

Quel termine extra, il quadrato della norma L2 dei pesi moltiplicato per un iperparametro $\lambda$ (lambda), cambia tutto. Se un peso prova a diventare enorme per catturare un outlier, la penalità schizza verso l'alto, costringendo l'algoritmo a mantenere i coefficienti più piccoli e distribuiti.

Un dettaglio non da poco: i pesi non vengono mai azzerati completamente, come accade invece con l'L1 (Lasso). Vengono solo compressi verso lo zero.

Perché preferire L2 rispetto a L1?

Spesso ci si chiede quale tecnica scegliere. La risposta breve è: dipende da cosa vuoi ottenere dai tuoi dati.

La regolarizzazione L1 tende a creare modelli "sparsi". Significa che molti coefficienti diventano esattamente zero, eliminando di fatto alcune feature. È fantastica per la selezione automatica delle variabili. Ma l'L2 ragiona diversamente.

L'L2 è più conservativa. Invece di eliminare una variabile, ne riduce l'impatto. Questo la rende estremamente efficace quando hai molte feature che sono fortemente correlate tra loro (multicollinearità). Se due variabili dicono quasi la stessa cosa, L1 potrebbe scegnerne una a caso e azzerare l'altra; L2 invece distribuirà il peso tra entrambe, rendendo il modello più stabile.

È una questione di equilibrio. Meno aggressiva, ma spesso più robusta nelle prestazioni predittive generali.

Il ruolo critico di Lambda ($\lambda$)

Qui arriviamo al punto dove molti data scientist sbagliano. Il parametro $\lambda$ è la manopola che controlla l'intensità della regolarizzazione. Se lo imposti male, rovini tutto.

Se $\lambda = 0$, torni alla regressione lineare standard. Rischio di overfitting? Altissimo.

Se $\lambda$ è troppo grande, la penalità domina l'errore. I pesi diventano così piccoli che il modello non riesce più a imparare nulla dai dati. Risultato: underfitting. Il modello diventa una linea piatta, incapace di cogliere qualsiasi trend.

Trovare il valore ottimale di $\lambda$ richiede quasi sempre un processo di cross-validation. Si testano diversi valori e si sceglie quello che minimizza l'errore sul set di validazione. Non esiste un numero magico, esiste solo il numero giusto per quel dataset specifico.

Bias-Variance Tradeoff: il cuore del problema

Per capire davvero la regolarizzazione L2 bisogna parlare di Bias e Varianza. È il dilemma eterno del Machine Learning.

La Varianza è l'errore derivante dalla sensibilità eccessiva del modello alle fluttuazioni del set di training. Un modello con alta varianza è, per definizione, un modello in overfitting. La regolarizzazione L2 serve proprio a ridurre questa varianza.

Tuttavia, c'è un prezzo da pagare: l'aumento del Bias. Introducendo una penalità, stiamo deliberatamente dicendo al modello di non adattarsi perfettamente ai dati. Stiamo introducendo un "pregiudizio" (bias) per ottenere una maggiore generalizzazione.

L'obiettivo è trovare il punto di equilibrio dove la somma di Bias e Varianza è minima. È un gioco di prestigio matematico.

Applicazioni pratiche: non solo regressione

Anche se ne parliamo spesso in termini di Ridge Regression, l'L2 è ovunque. Se hai mai usato le Reti Neurali, l'hai incontrata sotto il nome di Weight Decay.

Nelle reti profonde, i pesi possono esplodere durante l'addestramento, portando a gradienti instabili e modelli che non convergono. Aggiungere un termine L2 alla funzione di perdita costringe la rete a mantenere i pesi piccoli, prevenendo che singoli neuroni diventino troppo dominanti rispetto agli altri.

Questo rende la rete più fluida, meno soggetta a bruschi cambiamenti in risposta a piccole variazioni dell'input. In pratica, l'L2 agisce come un "ammortizzatore" per i pesi della rete.

Riassumendo i punti chiave

  • Obiettivo: Ridurre l'overfitting penalizzando i coefficienti troppo grandi.
  • Meccanismo: Aggiunge la somma dei quadrati dei pesi alla funzione di costo.
  • Effetto sui pesi: Li spinge verso lo zero senza mai annullarli completamente.
  • Vantaggio principale: Gestisce meglio la multicollinearità rispetto alla regolarizzazione L1.
  • Rischio: Un lambda troppo alto porta all'underfitting.

Sperimentare è l'unico modo per capire davvero come reagisce il tuo modello. Se vuoi visualizzare concretamente come cambia la curva di decisione al variare della penalità, ti suggeriamo di provare il nostro simulatore di overfitting qui su overfitting.it.

Vedere i pesi che si restringono mentre la curva diventa più morbida è il modo migliore per trasformare la teoria in intuizione.