Il tuo modello ha un'accuracy del 95 %. Congratulazioni — quel numero, senza contesto, vuol dire quasi nulla. L'ossessione per la performance su una singola metrica è uno dei failure mode più comuni nei progetti ML.
La trappola dell'accuracy
Pensa a un modello di fraud detection in cui solo l'1 % delle transazioni è fraudolento. Un modello che predice «non frode» per tutto raggiunge il 99 % di accuracy ed è del tutto inutile.
L'esempio è ovvio, ma versioni più sottili colpiscono anche team esperti. Classi sbilanciate, distribution shift e metriche proxy creano gap tra performance dichiarata e valore reale.
Metriche allineate al business
Parti dal risultato di business, non dalla metrica tecnica. Se costruisci un sistema di raccomandazione, conta l'impatto sui ricavi e il customer lifetime value, non solo il click-through rate.
Ragiona a ritroso da euro o rupie. Quanto costa un falso positivo? E un falso negativo? Quei numeri devono guidare direttamente i criteri di valutazione e la scelta delle soglie.
Oltre il test set
La performance sul test set è necessaria ma non sufficiente. Un modello che brilla in valutazione può fallire spettacolarmente in produzione per data drift, input avversari o edge case non presenti nei test data.
Implementa un monitoraggio che traccia i risultati di business accanto alle metriche tecniche. Quando divergono, hai un allarme precoce.
L'elemento umano
I migliori team ML mantengono uno scetticismo sano davanti a numeri impressionanti. Si chiedono «cosa potrebbe andare storto?» prima di festeggiare.
Costruisci una cultura in cui mettere in discussione le metriche è incoraggiato, non punito. L'obiettivo è la consegna di valore, non la vanità del dashboard.