Quando decide un sistema, chi risponde?
Il volume e la rapidità delle raccomandazioni rendono impraticabile l’alternativa di valutare ogni caso singolarmente. L’essere umano rimane nel processo come un timbro, non come un giudice.
Un missile Tomahawk colpisce una scuola elementare a Minab, nel sud dell'Iran. Muoiono oltre cento bambini. La prima domanda che dovremmo porci non è come sia stato possibile: è chi abbia deciso. La risposta, nelle indagini e nelle interviste che seguono, è un vuoto. La piattaforma di targeting Maven, che usa modelli come Claude per generare bersagli e classificarli per importanza strategica, ha indicato le coordinate. Un umano ha "effettuato la scelta finale". Il CEO di Anthropic, interrogato sull'episodio, risponde che non sa se il suo modello sia stato usato, ma che il caso non violava le sue red line: "la decisione finale l'ha presa un umano"
Il controllo umano è diventato un rito
Quella formula "c'è sempre un umano nel loop" è il mantra della governance AI. Ma nei fatti il loop si è allargato fino a diventare un cerimoniale. Maven ha generato tredicimila bersagli in cinque settimane, più di mille nelle prime ventiquattro ore di campagna. A questo ritmo la revisione umana non è una decisione: è una firma. Il generale che approva una lista già filtrata, già priorizzata, già motivata dal sistema, esercita una responsabilità nominale, non reale.
Più il sistema diventa capace, più la quota di decisione umana si riduce a ratifica. Non perché qualcuno abbia tolto potere all'uomo, ma perché il volume e la velocità delle raccomandazioni rendono l'alternativa, davvero valutare ogni caso, impraticabile. L'umano resta nel loop come un timbro, non come un giudice.
La legge c'è, il problema è altrove
Mentre questo accade, l'Europa discute di conformità e la norma sancisce la centralità della decisione finale affidata a una persona fisica ma le leggi sono una cornice che fotografa un mondo ordinato: un sistema, un umano, una decisione.
La realtà dei processi ibridi è più complessa. La decisione non è un atto puntuale ma una catena distribuita: il modello che suggerisce, l'ingegnere che lo ha configurato, il manager che ha impostato i parametri, l'operatore che conferma. Quando la catena produce un errore, la responsabilità si dissolve tra gli anelli: ognuno ha fatto la propria parte, nessuno ha deciso davvero. È il fenomeno della responsabilità assente, e nessun articolo di legge lo intercetta perché nessuna norma può assegnare una colpa a un processo.
Il settore lo sapeva già
Non è una speculazione. I documenti desecretati nella causa tra il New York Times e OpenAI/Microsoft mostrano che, internamente, i dirigenti chiamavano le cose con il loro nome: uno di loro ha definito lo scraping dei contenuti "il più grande furto di lavoro della storia umana" . Le aziende sapevano di addestrare modelli su contenuti protetti da paywall, sapevano di aver depurato i dati dalle note di copyright. Eppure, davanti alla legge, nessuno è responsabile: l'azione è distribuita tra centinaia di persone, e il processo assolve tutti.
Il paradosso è lo stesso di Minab. Quando la capacità cresce, la responsabilità non cresce con lei: evapora. Più sistemi intervengono in una catena decisionale, più è difficile trovare il punto in cui qualcuno poteva fermare tutto, e più è comodo non cercarlo.
La domanda che la governance evita
Conformità, tracciabilità, trasparenza: tutte misure necessarie, nessuna sufficiente. Regolano come un sistema decide, non chi risponde quando decide male. Finché la responsabilità resterà un'etichetta apposta a un processo, il rischio più grande non sarà l'errore del sistema: sarà la certezza che, quando l'errore arriva, qualcuno potrà sempre dire, con il massimo della buona fede, "non è colpa mia".
E forse è proprio questo il punto che la governance dovrebbe affrontare per prima: non come evitare che i sistemi decidano, ma come fare in modo che qualcuno risponda quando decidono. La prossima vittima di un "errore di nessuno" potrebbe essere una scelta aziendale, una diagnosi, una decisione di credito. Non sarà un missile. Ma la domanda sarà la stessa.
Per approfondire
Ben Bartenstein and Krishna Karra
Rebecca Bellan
