Misurare il valore di un progetto di AI: costi, benefici, metriche

Di cosa parla questa guida

Quasi tutte le organizzazioni che hanno adottato l’intelligenza artificiale non sanno dire se sia servita. Non per negligenza: perché nessuno ha rilevato come si lavorava prima, perché i benefici sono diffusi su molte persone e perché i costi veri non stanno nel canone del fornitore. La guida propone un metodo per misurare senza illudersi.

I benefici dell’AI hanno tre caratteristiche che li rendono invisibili alle misure aziendali consuete: sono diffusi (venti minuti al giorno risparmiati da cento persone non compaiono da nessuna parte), sono di sostituzione e non di eliminazione (il tempo risparmiato viene speso in altro), sono asimmetrici nel tempo (i costi arrivano subito e concentrati, i benefici dopo e distribuiti). Senza una linea di base non si misura nulla.

La guida mette in fila i costi per intero (visibile, di adozione, permanente, di uscita e di non fare nulla) e costruisce un conto a tre anni; poi i benefici senza illusioni: il tempo risparmiato al netto della verifica, la qualità misurata senza opinioni, il rischio evitato e quello introdotto, i benefici che non si monetizzano e il caso in cui il beneficio è zero e va detto. Chiude con un modello di valutazione in una pagina, i criteri di arresto e il modo di presentare i numeri a chi decide.

Tre idee dalla guida

Una sensazione con dei numeri accanto

Una direzione approva un assistente per cento persone e dopo un anno chiede di valutare il rinnovo; chi risponde raccoglie testimonianze entusiaste e qualche lamentela e conclude che lo strumento è utile. La guida chiama questa cosa col suo nome e spiega perché con l’AI la spesa è ricorrente e crescente: senza numeri, le decisioni di rinnovo le prende chi parla più forte.

Il costo nascosto: il tempo di verifica

Uno strumento che produce risultati da controllare sposta lavoro invece di eliminarlo. Senza misura non si distingue il caso in cui conviene da quello in cui non conviene: per questo la guida misura il tempo risparmiato sempre al netto della verifica, sul ciclo intero e non sul singolo passaggio.

Un numero onesto vale più di dieci ottimisti

È il punto fermo della guida. Il primo mese del piano, quello senza lo strumento, serve a fissare la linea di base, mettere da parte venti risultati reali, definire una griglia di qualità e scrivere i criteri di arresto: è il mese che tutti vogliono saltare ed è l’unico che permette, nove mesi dopo, di rispondere.