Il casello fantasma

A ogni comando, da qualche parte, un casello di pedaggio si attiva. "Permetti l'esecuzione? Sì o no". Il traffico rallenta, la domanda viene posta, e la risposta arriva: la sbarra si alza. Solo che a deciderlo, ormai, è un altro modello. Un classificatore legge la riga di comando, valuta il rischio, e alza la sbarra al posto nostro.

Il casello c'è. Il casellante no.

La scena sembra innocua. In realtà è il momento dove abbiamo smesso di controllare le macchine e cominciato a mettere in scena il controllo.

Il casello è rimasto aperto

Il permesso di esecuzione è nato per un veto informato: un umano legge cosa sta per accadere sulla sua macchina e decide. Quel veto era già morto prima che arrivasse l'esecuzione automatica. I comandi sono diventati troppo complessi per essere letti: catene di pipe, sostituzioni, script generati al volo. Anche chi voleva controllare, non poteva. E chi controllava davvero? La stragrande maggioranza dei permessi veniva approvata senza essere letta. Il rito si svolgeva, la funzione no. La modalità automatica non ha ucciso il controllo umano: ha smesso di fingere che esistesse, e ha messo un altro modello al casello.

Ma perché una forma sopravvive alla sua funzione? Perché rimuoverla sembra togliere sicurezza. Il casello del pedaggio, la richiesta di approvazione, il riassunto che un agente scrive per il suo coordinatore: tutti artefatti nati per occhi umani, tutti ancora in funzione in circuiti dove di umano non è rimasto quasi nulla.

Il riassunto è il casello più puro. Un agente indaga un problema, trasforma i risultati in una sintesi leggibile; l'agente che lo coordina legge quella sintesi e ne produce un'altra, per te. A ogni passaggio la spiegazione si comprime e perde informazioni. E il lettore per cui quel riassunto era stato pensato non c'è. È una traduzione verso una lingua che nessuno parla più, eseguita a ogni giro.

Il costo di un posto di blocco vuoto

I residui non sono neutrali. Producono tre cose precise.

Primo, il pedaggio. Il classificatore che risponde al posto nostro è un modello che gira su ogni comando, consuma token, aggiunge latenza. La sintesi intermedia raddoppia scrittura e lettura senza aggiungere informazione: la sottrae, perché comprime. Secondo, lo sportello cieco. Un giudizio singolo con informazione parziale è il posto migliore dove un sistema si rompe, o dove qualcuno impara a colpirlo: basta sapere cosa il giudice non vede. Terzo, il più importante, l'illusione della sorveglianza.

Finché il casello esiste, gli automobilisti rallentano. Credono che qualcuno guardi. Ma una sbarra alzata da nessuno non è un controllo: è un'assicurazione pagata a una compagnia inesistente.

La sbarra non si aggiunge: si toglie

Tutto il dibattito sulla sicurezza degli agenti è costruito su una domanda: quanto controllo lasciare dentro il loop? La risposta che sta emergendo dalla pratica è un'altra: il controllo non va aggiunto al loop, va spostato ai bordi.

Non un modello che giudica i comandi uno a uno, ma impostare confini che non hanno bisogno di giudizio: una sandbox da cui non si esce, un file system in sola lettura, permessi che non possono fare ciò che non devono. Non un riassunto di un agente all'altro, ma protocolli strutturati che non comprimono. L'interfaccia umana torna dove è sempre stata utile: l'intenzione all'inizio, l'eccezione alla fine. Nel mezzo, nessuna cabina.

Chi continuerà a tenere la forma umana come controllo primario non sarà conservatore: sarà fragile. Avrà un posto di blocco presidiato da nessuno, alimentato a token, che rallenta il traffico e dà l'illusione di proteggerlo. Il prossimo incidente grave in un loop agentico non nascerà da un modello che sbaglia un comando. Nascerà da un permesso che un uomo non ha mai letto e una macchina ha alzato la sbarra senza vedere abbastanza.

Il casello non è mai stato il controllo. Era il casellante. Quando il casellante se n'è andato, abbiamo lasciato la cabina accesa e l'abbiamo chiamata sicurezza.