IFM ha corretto il proprio punteggio Terminal-Bench 2.1 da 70,2% a 66,9% con la procedura di Artificial Analysis. Il numero giusto vive solo nel testo.
Adriano Amalfi
6 min di lettura
Stessa settimana, stesso modello, due punteggi: 99,9% dichiarato da OpenAI, 62,7% verificato da ARC Prize. Il meccanismo che li separa è l'harness.
Adriano Amalfi
6 min di lettura
108 task, oltre 300 passi, 31 applicazioni: sul lavoro reale gli agenti falliscono 4 task su 5. Non è questione di intelligenza, ma di architettura.
Adriano Amalfi
7 min di lettura