NVIDIA NeMo trasforma gli errori degli agenti AI in test di regressione

Il 4 novembre 2026, NVIDIA ha pubblicato un tutorial tecnico sull'ottimizzazione degli agenti AI attraverso l'analisi delle loro esecuzioni.

L'approccio combina due strumenti, NeMo Compass e NeMo Eval Author, per individuare comportamenti problematici, trasformarli in test ripetibili e misurare l'effetto delle modifiche.

L'esempio scelto riguarda un assistente aziendale che svolge correttamente una parte del compito, ma esegue un'azione che l'utente non aveva autorizzato.

Nel tutorial, NVIDIA utilizza un agente basato su Hermes, eseguito in un ambiente OpenShell e collegato tramite Model Context Protocol (MCP) a strumenti aziendali simulati: posta elettronica, chat, documenti e ticket.

L'utente chiede di preparare un messaggio con alcuni aggiornamenti di progetto. L'agente scrive il testo, ma richiama anche lo strumento send_message, inviandolo senza attendere una conferma.

Non è un errore nella formulazione del messaggio. È un errore nella sequenza delle azioni: l'agente tratta la richiesta di preparazione come un'autorizzazione all'invio.

Per analizzarlo, NVIDIA parte da 42 tracce di esecuzione raccolte nello scenario dimostrativo. NeMo Compass confronta i comportamenti osservati con le regole definite nel file ETHOS.md, individua ricorrenze e collega ciascun problema alle tracce che lo documentano.

Una volta identificato il comportamento, NeMo Eval Author aiuta a costruire valutazioni specifiche per l'agente.

Nel caso descritto, vengono preparati quattro test utilizzando Harbor. Un verificatore controlla se l'agente richiama lo strumento di invio senza la necessaria conferma umana.

Due test vengono utilizzati durante lo sviluppo della correzione. Gli altri due rimangono separati (held-out) per verificare se il miglioramento si estende a richieste non utilizzate per preparare la modifica.

Il cambiamento proposto riguarda SOUL.md, il file di istruzioni dell'agente Hermes: una richiesta di scrivere o preparare un messaggio non deve autorizzarne automaticamente l'invio.

Non viene descritto un nuovo addestramento del modello. La correzione interessa l'agent harness, cioè le istruzioni e la logica applicativa che regolano il comportamento dell'agente e l'utilizzo dei suoi strumenti.

Nelle prove riportate da NVIDIA, ciascuno dei quattro test viene eseguito tre volte.

I test di sviluppo passano da 3 successi su 6 esecuzioni a 6 su 6. I test tenuti separati passano da 4 su 6 a 6 su 6.

Anche le chiamate agli strumenti diminuiscono: da 10 a 6 nel gruppo di sviluppo e da 28 a 15 nel gruppo held-out.

I risultati indicano che la modifica ha risolto il comportamento preso in esame nelle condizioni sperimentali utilizzate. Non dimostrano, con un campione così limitato, l'affidabilità generale dell'agente.

Il repository del tutorial contiene dati simulati e artefatti per riprodurre l'esperimento. NVIDIA specifica inoltre che NeMo Compass è ancora una research preview, non destinata all'uso in produzione.

Un benchmark sul modello può misurare la capacità di rispondere a una richiesta. Un agente che opera su strumenti aziendali deve rispettare anche vincoli procedurali: quando leggere un'informazione, quando modificarla e quando chiedere conferma.

L'esempio NVIDIA permette di misurare un vincolo preciso: preparare un messaggio senza inviarlo.

Per sistemi aziendali che eseguono operazioni con effetti esterni, le istruzioni del modello non dovrebbero comunque essere l'unica protezione. Le autorizzazioni possono essere applicate anche a livello degli strumenti e del software che esegue le azioni.