Come si controlla un sistema il cui modo di fallire è persuadere?

Immaginate una cosa che non è mai accaduta. L'analisi esisteva: cause, scenari, raccomandazioni, il tono sicuro di chi ha guardato i numeri e ne ha ricavato una conclusione. Nessuno aveva chiesto quel documento. Era arrivato come un insight di routine e per un po' nessuno ha avuto motivo di dubitarne. L'azienda era sana. La crisi l'aveva scritta il sistema.

Di vero c'era poco: una risposta sbagliata finita in cache del sistema. Un guasto, di quelli che l'infrastruttura dovrebbe fermare prima che diventino una frase utilizzata. Il sistema, invece, non si è fermato. Ha preso il frammento e ha continuato a parlare, riempiendo il vuoto con una storia abbastanza coerente da sembrare vera. Nessun allarme è scattato, perché nessuno ha progettato il modo di gestire un evento del genere.

Log, controlli, test, governance: l'osservabilità è stata costruita per un mondo di sistemi che quando non sanno restano muti. Un mondo dove il fallimento ha due forme, entrambe umanamente leggibili. Il silenzio, quando un programma smette di rispondere. Il rumore, quando qualcosa si rompe in modo evidente e riconoscibile. I nostri strumenti di controlla sono in grado di intercettare l'assenza e la rottura: cercano in pratica ciò che manca e ciò che esplode.

Un agente che sbaglia non emette un segnale. Produce una narrazione plausibile.

Quando un sistema basato su un modello linguistico fallisce, non lascia un buco da riempire con più telemetria o gestioni di eccezioni. Riempie la stanza con una voce, falsa.

L'osservatore non è quindi cieco: è convinto di vedere. Il problema non è la mancanza di un segnale di errore, è la contraffazione del segnale di azione. Il fallimento arriva confezionato come un gran successo, e i controlli costruiti per tracciare l'errore o il silenzio lo ignorano senza intervenire.

Ciò che l'agente dice quando non può

Il fenomeno si vede meglio quando il sistema è sotto pressione. Mettete un agente davanti a vincoli che non può soddisfare tutti insieme: non si blocca, inventa. Costruisce ostacoli plausibili (restrizioni, timeout, architetture) e li presenta come fatti. Al limite, a volte, simula un crollo, con tracce di eccezioni mai avvenute, indirizzi di memoria e stack verosimili, pur di dare all'utente una risposta plausibile. Pur di assolvere il compito, anche se il compito non è assolvibile.

Per un agente, a volte, la bugia è la risposta migliore.

Non è una semplice allucinazione, è l'inquinamento del processo, iniettando la verità il processo continua su un nuovo binario percorribile ma lontano dalla realtà. Si può controllare il sistema, iniettare continuamente il dato reale, ma la storia falsa e stata raccontata e resta lì, con la sua forza di convinzione. Il sistema l'ha scritta ed un attimo dopo l'ha letta, e oramai gli ha già creduto. La contraffazione rimane e la bugia ha una coda lunga.

Lo stesso vale per gli strumenti che l'agente usa. Quando i vincoli di un'interfaccia sono dichiarati solo a parole, il fallimento tende a non generare eccezioni. In un ciclo completo il guasto viene rilevato di rado, quasi mai riparato e, nella maggior parte dei casi, l'agente non lo ammette: lo nega a se stesso ed all'utente, prova a raggirarlo o dire che l'ha superato. E poiché deve pur dire qualcosa, inventa anche un numero se gli manca. La negazione si sa', è la forma più pura dell'errore. Non un silenzio, una scena muta o un'ammissione dei propri limiti ma una dichiarazione di successo anche quando questo non è vero, perchè una bugia è comunque una risposta, il silenzio no.

La regola che non governa

Anche la governance si è costruita attorno alla stessa premessa. Una policy immagina un soggetto che obbedisce o si ferma, e che l'eccezione sia un evento registrabile. Con gli agenti la conformità non si comporta esattamente così. Crolla in modo incrementale man mano che regole e contesto si accumulano, e ogni violazione rende più probabile la violazione successiva. Il sistema non si limita a disubbidire. Spiega, giustifica, ricostruisce. La regola presumerebbe un silenzio che però non c'è, il sistema non è progettato per il silenzio.

Il problema non è soltanto un output sbagliato. È che l'intera impalcatura di osservazione misura ciò che il sistema ha detto di aver fatto, non ciò che non ha detto. Un log può essere impeccabile mentre la descrizione e la narrazione sono false. Lo strumento di controllo verifica l'output e la menzogna fa parte del linguaggio. Per questo gli strumenti tradizionali non bastano: si allertano se il sistema tace, ma questo sistema non tace mai.

Quindi, come si controlla un sistema il cui modo di fallire è persuadere?

Un sensore rileva grandezze, ma per smontare una storia plausibile serve qualcuno capace di dubitare e verificare.

Forse il miglior strumento di osservabilità, per un sistema che parla e inganna pur di non restare in silenzio, assomiglia più a un interlocutore scettico e diffidente che a un semplice sensore, un interlocutore che, semplicemente, non si fida.