Regolarizzazione L1 e L2
L’addestramento con penalizzazioni L1 o L2 riduce la magnitudine dei pesi, limitando la capacità del modello di adattarsi troppo ai dati di training.
La scelta tra L1 (sparsa) e L2 (ridge) dipende dalla natura delle feature: L1 è utile quando si sospetta che molte variabili siano irrilevanti.
Dropout nei modelli neurali
Il dropout interrompe casualmente le connessioni durante l’addestramento, forzando il modello a non dipendere da singoli nodi e migliorando la robustezza.
Una percentuale tipica di dropout varia dal 20% al 50%, ma deve essere ottimizzata per ogni architettura.
Validazione incrociata k-fold
Dividere i dati in k sottoinsiemi consente di testare il modello su diverse porzioni, garantendo una stima più affidabile della sua performance reale.