Qualità delle risposte AI

Diagnosi

Leve di correzione, in ordine

1. Aggiungi il contenuto mancante alla knowledge base: è il rimedio risolutivo nella maggior parte dei casi.
2. Aumenta il numero di frammenti recuperati da 4 a 6 o 8, verificando che non peggiori la precisione.
3. Abbassa la soglia di pertinenza se il contenuto esiste ma non viene recuperato.
4. Riformula il prompt di sistema rendendolo assertivo: “Rispondi in modo specifico e operativo usando le informazioni disponibili. Proponi il contatto con un operatore solo se l'informazione non è presente.”
5. Aggiungi esempi few-shot che mostrano il livello di dettaglio atteso.

Diagnosi

Leve di correzione, in ordine

1. Elimina i documenti obsoleti: mantenere “per storico” un listino vecchio nella knowledge base è la causa più frequente di risposte errate.
2. Risolvi i conflitti: una sola fonte autorevole per ogni informazione.
3. Aggiungi metadati di validità (data di aggiornamento, versione) e configura la priorità sui documenti più recenti.
4. Sposta i dati volatili in uno strumento richiamabile: prezzi, disponibilità e orari non dovrebbero stare in un documento statico ma essere letti dal sistema di riferimento.
5. Rigenera l'indice dopo ogni modifica: finché l'indicizzazione non è completata, il contenuto vecchio resta attivo.

Diagnosi

Leve di correzione, in ordine

1. Associa la collezione al progetto e ripubblica.
2. Risolvi gli errori di indicizzazione: PDF protetti da password, documenti costituiti da sole immagini, file corrotti.
3. Abbassa la soglia di pertinenza in modo graduale, per esempio da 0.75 a 0.65.
4. Rendi il prompt vincolante: “Rispondi esclusivamente sulla base delle informazioni fornite nel contesto. Se l'informazione non è presente, dichiaralo.”
5. Verifica la lingua dei documenti: una knowledge base in inglese interrogata in italiano recupera peggio. Allinea le lingue o attiva la ricerca multilingue.

Diagnosi

Il fenomeno si manifesta quando il modello non trova l'informazione ma non ha istruzioni chiare su cosa fare in quel caso. Il comportamento predefinito di un modello linguistico è produrre una risposta comunque.

Leve di correzione, in ordine

1. Istruzione esplicita nel prompt di sistema:

Rispondi esclusivamente sulla base delle informazioni presenti nel contesto fornito.
Se l informazione necessaria non e presente nel contesto, dichiara chiaramente di non
disporre di quel dato e proponi il contatto con un operatore.
Non dedurre, non stimare e non integrare con conoscenze generali.
Non inventare in alcun caso numeri, prezzi, codici, date, recapiti o condizioni contrattuali.

2. Abbassa la temperatura a un valore compreso fra 0.1 e 0.3 per gli assistenti informativi.
3. Alza la soglia di pertinenza: meglio nessun contesto che un contesto fuorviante.
4. Attiva la citazione obbligatoria delle fonti: costringe il modello ad ancorarsi ai documenti e rende immediatamente visibile all'utente l'origine dell'informazione.
5. Configura il comportamento di ripiego: passaggio a operatore o messaggio standard quando il recupero non produce risultati.

Sintomo: paragrafi interi dove basterebbero due righe, ripetizione della domanda, chiusure di cortesia ridondanti.

Leve di correzione:

1. Vincolo esplicito nel prompt: “Rispondi in massimo 3 frasi. Vai direttamente al punto, senza ripetere la domanda e senza formule di cortesia.”
2. Imposta la lunghezza massima della risposta nelle impostazioni del modello.
3. Aggiungi esempi few-shot con risposte della lunghezza desiderata: è la leva più efficace, perché il modello imita il formato degli esempi.
4. Riduci il numero di frammenti recuperati: più contesto tende a produrre risposte più lunghe.
5. Richiedi il formato a elenco per le risposte procedurali: sono più brevi e più leggibili.

Sintomo: risposte monosillabiche o prive delle informazioni di contorno necessarie.

Leve di correzione:

1. Rimuovi vincoli di brevità eccessivi dal prompt.
2. Verifica la lunghezza massima: se troppo bassa, la risposta viene troncata. Il sintomo tipico è la frase interrotta a metà.
3. Chiedi esplicitamente il contesto utile: “Dopo la risposta, indica sempre i passaggi successivi o le informazioni che servono all'utente per procedere.”
4. Aumenta i frammenti recuperati se le risposte sono povere per mancanza di contesto.
5. Aggiungi esempi con il livello di dettaglio atteso.

Diagnosi

Leve di correzione, in ordine

1. Forza la lingua nelle impostazioni del progetto se servi un pubblico monolingua: è la soluzione più semplice e definitiva.
2. Scrivi il prompt di sistema in italiano, con istruzione esplicita: “Rispondi sempre in italiano, indipendentemente dalla lingua della domanda e dei documenti di contesto.”
3. Traduci i documenti principali, o quantomeno le sezioni più consultate.
4. Imposta una lingua predefinita per i messaggi troppo brevi da classificare.
5. Verifica i termini tecnici: è normale e corretto che alcuni termini restino in lingua originale.

Diagnosi

Leve di correzione, in ordine

1. Riscrivi la descrizione in modo operativo:

Nome: verifica_stato_ordine
Descrizione: Recupera lo stato di spedizione di un ordine ACME a partire dal numero
d ordine. Usa questo strumento ogni volta che l utente chiede dove si trova il suo
ordine, quando arrivera la consegna, oppure fornisce un numero d ordine.
Parametri: numeroOrdine (obbligatorio, formato ACME-000000)

2. Aggiungi esempi few-shot che mostrano una conversazione in cui lo strumento viene invocato.
3. Riduci il numero di strumenti attivi: con più di 8 o 10 strumenti la selezione peggiora. Disattiva quelli inutilizzati.
4. Rendi facoltativi i parametri non essenziali e imposta valori predefiniti sensati.
5. Menziona lo strumento nel prompt di sistema per i casi d'uso prioritari.
6. Verifica i tempi di risposta: uno strumento che impiega più di 5 secondi può andare in timeout e apparire come non invocato.

Contenuti

1. Ogni informazione che l'assistente deve conoscere è presente in un documento indicizzato.
2. Non esistono documenti obsoleti o in conflitto sullo stesso argomento.
3. I dati volatili (prezzi, disponibilità, stati) sono letti da strumenti, non da documenti.
4. I documenti sono nella stessa lingua delle conversazioni attese.
5. I metadati (categoria, data, versione) sono valorizzati sui documenti principali.
6. Nessun dato personale o riservato è presente nella knowledge base.

Recupero

7. Tutte le collezioni necessarie sono associate al progetto.
8. Tutti i documenti sono in stato Indicizzato.
9. La dimensione dei frammenti è coerente con la struttura dei documenti.
10. La soglia di pertinenza è tarata sui risultati reali della funzione di prova.
11. Il numero di frammenti recuperati è compreso fra 4 e 8.

Generazione

12. Il prompt di sistema definisce ruolo, tono, vincoli e comportamento in assenza di informazioni.
13. L'istruzione anti-invenzione è presente, all'inizio e alla fine del prompt.
14. La temperatura è compresa fra 0.1 e 0.3 per gli assistenti informativi.
15. La lunghezza massima della risposta è coerente con il canale.
16. Sono presenti da 3 a 5 esempi few-shot rappresentativi.
17. La lingua è forzata se il pubblico è monolingua.

Strumenti

18. Ogni strumento ha una descrizione che spiega quando usarlo, non solo cosa fa.
19. Gli strumenti inutilizzati sono disattivati.
20. I tempi di risposta degli strumenti sono inferiori a 3 secondi.

Verifica

21. Esiste una serie di 20-30 domande di test con risposta attesa.
22. La serie viene rieseguita dopo ogni modifica significativa.
23. Le risposte segnalate dagli operatori vengono riviste settimanalmente.
24. Il comportamento di ripiego (nessuna informazione trovata) è configurato e testato.