AloLab · Ricerca

Costruiamo gli agenti AI migliori
e più sicuri al mondo.

AloLab studia come rendere gli agenti AI affidabili, sicuri e verificabili, per le operazioni più critiche in ambito enterprise.

Accurato all'85%.
Utilizzabile allo 0%.

Senza una harness, ogni modello che abbiamo testato, open e proprietario, ha raggiunto un’elevata accuratezza sul task ma ha prodotto zero output analizzabile.

Llama 3.1-8B
Accuratezza sul task
76.9%
Accuratezza dell'output
0%
Gemma 2-9B
Accuratezza sul task
80.4%
Accuratezza dell'output
0%
Qwen 2.5-7B
Accuratezza sul task
85.1%
Accuratezza dell'output
0%
GPT-4o
Accuratezza sul task
84.3%
Accuratezza dell'output
0%

Benchmark GSM8K, prompting naive — nessuna istruzione di formattazione. L'accuratezza sul task misura la correttezza matematica; l'accuratezza dell'output misura correttezza + output strutturato valido.

Affidabilità su larga scala,
senza fine-tuning.

0 → 84–95%accuratezza dell'output dopo l'ottimizzazione con AloLab, dallo 0% di baseline con prompting naive
8.2×overhead di latenza del constrained decoding eliminato: AloLab opera a costo pressoché nullo
29/30confronti di McNemar appaiati significativi con p < 0.05 su tutti i modelli e i dataset
Solo accesso black-box tramite API. Nessun peso, nessun gradiente, nessun fine-tuning. Lo stesso framework funziona su modelli open-weight e proprietari.

Ottimizzazione iterativa dell'AI
tramite tracce di esecuzione.

01RisolviInterroga il modello target via API su task derivati dalla produzione. Solo black-box — nessun peso, nessun gradiente.
02ValutaCalcola metriche per campione in modo riproducibile: validità del JSON, correttezza del task, traccia di esecuzione.
03AnalizzaIndividua pattern ricorrenti di errore e successo lungo l'intera traccia di esecuzione. Categorizza secondo la tassonomia degli errori.
04OttimizzaRiscrivi il system prompt per correggere gli errori senza compromettere ciò che già funziona. Ripeti per 4 epoche.

Il miglior checkpoint di validazione viene selezionato per il deployment. Il costo di ottimizzazione si paga una volta sola — l'inferenza usa solo il prompt risultante.

La maggior parte delle valutazioni misura
la risposta.

Noi misuriamo il lavoro: ogni chiamata a strumenti, passo di ragionamento, ciclo di retry e modalità di errore, registrato e classificato.

Valutazioni standardPass/fail binario sull'output finale. Modalità di errore invisibili.
Valutazioni di traiettoriaTracce a livello di passo. Tassonomia degli errori: loop, collasso del contesto, uso allucinato degli strumenti, disaccoppiamento ragionamento-output.

I modelli migliorano.Le harness si accumulano.

Un modello di frontiera che produce la risposta giusta nel formato sbagliato è inutilizzabile quanto uno che sbaglia. È la harness a colmare il divario.

01
Allineamento al lavoroPrima l'affidabilità. Le persone liberate dal processo.
02
Centralità della personaTecnologia al servizio delle persone, non il contrario.
03
Harness > modelloIl livello di orchestrazione è il prodotto. Il modello è una commodity.
04
Scienza aperta, deployment privatoPubblica il metodo. Proteggi i dati.

Ricerca aperta

Il paper, il framework e i benchmark sono pubblici. Pubblichiamo perché la riproducibilità è lo standard, non l'eccezione.

Deployment privato

AloLab è il braccio di ricerca di Alomana, una piattaforma AI enterprise che opera in un'istanza privata, certificata ISO 27001. Le tue tracce di produzione, i tuoi modelli e i tuoi prompt ottimizzati non escono mai dal tuo ambiente.

Chiesto,
risposto.

Cos'è l'intelligenza di traiettoria negli agenti AI?

L'intelligenza di traiettoria valuta ogni passo compiuto da un agente AI — chiamate a strumenti, ragionamento, retry, errori — non solo l'output finale. La ricerca di AloLab mostra che questa analisi passo per passo rivela modalità di errore invisibili alle valutazioni standard pass/fail.

Perché gli agenti AI falliscono in produzione pur superando i benchmark?

I benchmark standard misurano solo l'accuratezza sul task. La ricerca di AloLab dimostra che i modelli possono raggiungere l'85% di accuratezza sul task producendo però lo 0% di output utilizzabile: il divario di affidabilità dell'output strutturato rende i punteggi dei benchmark fuorvianti per il deployment in produzione.

Come migliora AloLab l'affidabilità degli agenti AI?

AloLab è un ottimizzatore iterativo di system prompt che richiede solo accesso black-box tramite API. Analizza le tracce di esecuzione degli agenti, individua i pattern di errore ricorrenti e riscrive la harness di orchestrazione — raggiungendo l'84–95% di accuratezza dell'output con overhead di latenza pressoché nullo.

AloLab è open source?

Sì. Il framework e i benchmark di AloLab sono open-source su github.com/alomana-lab/alolab. Il paper sottoposto a revisione paritaria è disponibile su arXiv 2605.02363.

Collabora con
il laboratorio.

Esegui AloLab sui tuoi modelli e sulle tue tracce di produzione. Confronta gli agenti con una baseline già in produzione. Colma il divario di affidabilità prima che raggiunga i tuoi clienti.