Problema
Il nome del modello non è una garanzia
Due modelli con punteggi simili possono comportarsi in modo molto diverso su strumenti, vincoli, output strutturati e sequenze operative concrete.
EMPV / AI LabB
Applied R&D / capability evaluation
Local AI
Un laboratorio per capire cosa un modello eseguito localmente sa davvero fare su un workload specifico, usando prove riproducibili e confini operativi espliciti.
Stato repoPublic Core 0.3.1 RC1 · hitch-local-ai==0.3.1 · schema 1.0.1.
Direzione
Testare il workload prima del deployment
Il percorso separa discovery, candidato osservato, test, preflight, run limitata, evidenza e confronto, senza trasformare un singolo test in autorizzazione operativa.
01 / Cosa esiste già
Un public core versionato e verificabile.
Il progetto espone package Python, CLI, schemi, job/test pack e contratti di output per descrivere e verificare lavoro AI locale in modo riproducibile.
02 / Cosa stiamo cercando
Una misura utile per decidere, non una classifica di modelli.
La domanda non è quale modello sia 'migliore' in assoluto, ma quale combinazione modello + runtime + workload soddisfi un contratto concreto con evidenza sufficiente.
03 / Potenziale
Qualification layer per AI privata e on-prem.
Se la tesi regge su domini diversi, il valore potrebbe essere uno strato indipendente tra modelli locali e workload aziendali: testare prima, qualificare separatamente, operare solo entro confini dimostrati.
EMPV / NOTE
La parte pubblica è intenzionalmente separata dallo stato R&D privato, dagli inventari host e dalle ricette operative.