Perché i chatbot di Intelligenza Artificiale danno risposte diverse alla stessa domanda?

Premessa: un'introduzione al fenomeno delle risposte variabili dell'AI

Quando interagiamo con chatbot basati su Intelligenza Artificiale, spesso ci accorgiamo che ponendo la stessa domanda in momenti diversi o utilizzando lievi modifiche di formulazione, le risposte cambiano.

Per capire il perchè di questa variabilità ho intervistato direttamente CHATGPT nella configurazione più avanzata.

Ecco come è andata.

Intervista

Andrea Dari

ChatGPT, come mai quando ripeto la stessa domanda tu fornisci delle risposte ogni volta diverse?

ChatGPT o1

Questo comportamento può sembrare sorprendente o perfino confuso per gli utenti meno esperti, ma in realtà è una caratteristica intrinseca della tecnologia alla base dei chatbot moderni, come ChatGPT o Bard.

I chatbot moderni utilizzano modelli di linguaggio basati su reti neurali profonde addestrate su enormi quantità di testo. Non forniscono risposte predefinite, ma generano risposte originali ogni volta che interagiscono con l'utente.

Questo avviene perché tali modelli operano per probabilità: ogni parola è scelta in base alla probabilità di essere la migliore continuazione possibile rispetto al contesto fornito dall'utente.

Ogni interazione è pertanto unica e soggetta a piccole variazioni, anche se la domanda sembra identica.

Perché i chatbot producono risposte diverse alla stessa domanda

Andrea Dari:

Spiegati meglio

ChatGPT:

La ragione fondamentale è legata alla natura probabilistica e generativa dei modelli di linguaggio AI.

Il sistema cerca sempre di offrire una risposta coerente e accurata, ma non attinge a una banca dati fissa di risposte.

Al contrario, valuta molteplici combinazioni possibili di parole e concetti, e quindi può produrre variazioni in base a sfumature interpretative o a piccole differenze nel contesto, persino quando la domanda appare invariata.

Inoltre, l'addestramento costante, l'aggiornamento dei dati e le modifiche alle reti neurali possono contribuire a risposte diverse nel tempo.

Quali sono i vantaggi per l'utente

Andrea Dari:

Ma questa variabilità porta a dei vantaggi per l'utente

ChatGPT:

Sebbene inizialmente possa sembrare disorientante, questo aspetto presenta vantaggi rilevanti per gli utenti:

• Personalizzazione: ogni interazione diventa unica e può adattarsi meglio al contesto specifico in cui viene formulata.
• Flessibilità: le risposte diverse offrono una gamma più ampia di interpretazioni, che può essere utile in fase esplorativa o di brainstorming.
• Apprendimento continuo: le variazioni nelle risposte possono stimolare un dialogo più dinamico e approfondito con l'utente, aiutandolo a esplorare aspetti diversi di un argomento.

Un problema che può ripetersi affidando all'AI la gestione diretta dei processi?

Domanda: Questo comportamento non potrebbe essere rischioso se affidiamo all'AI la gestione di processi importanti?

Risposta: Ottima osservazione. Effettivamente affidare completamente la gestione di un processo a un'AI generativa introduce dei rischi legati all'incoerenza o a possibili irregolarità. Questo succede perché i modelli lavorano su base probabilistica, generando risposte suscettibili a piccole variazioni o interpretazioni diverse. Inoltre, il contesto e il modo in cui viene formulata una domanda influenzano significativamente le risposte. Non da ultimo, l’evoluzione costante dei modelli e i frequenti aggiornamenti possono ulteriormente alterare le interpretazioni e quindi le risposte.

Domanda: Come si può limitare concretamente questo rischio?

Risposta: Ci sono diverse strategie per mitigare questi rischi. Una soluzione è l'utilizzo di modelli specializzati addestrati per compiti specifici, capaci di offrire risposte più coerenti e prevedibili rispetto ai modelli generalisti.

È inoltre fondamentale integrare i chatbot generativi con sistemi deterministici che supervisionano e validano le risposte per garantirne correttezza e coerenza.

Un’altra tecnica importante è il "prompt engineering", ovvero la cura accurata delle istruzioni date all’AI, accompagnata da controlli di qualità automatizzati o umani. Infine, regolare il parametro di temperatura del modello permette di trovare un equilibrio tra creatività e prevedibilità.

Strategia di marketing o reale limite tecnico?

Andrea Dari:

ChatGPT:

In effetti, dietro la variabilità delle risposte dei chatbot moderni c’è anche una scelta comunicativa e commerciale precisa:

• Umanizzazione dell'AI:
  Mostrare risposte variabili contribuisce a dare l'impressione di interagire con un'intelligenza più simile a quella umana, capace di adattarsi, riflettere e produrre risposte personalizzate.
• Valorizzazione della percezione di 'Intelligenza':
  Il termine "Intelligenza Artificiale" è certamente più potente sul piano del marketing rispetto a definizioni tecniche come "modello statistico", "algoritmo di generazione testi", o "strumento computazionale". La percezione di "intelligenza" genera interesse, fiducia, e crea maggior fascino nei confronti della tecnologia.

Realtà tecnica e strategia commerciale

È vero che tecnicamente le risposte variabili derivano principalmente dalla natura probabilistica dei modelli. Tuttavia, la scelta di lasciare una certa variabilità, invece di limitarla o eliminarla del tutto tramite impostazioni precise, riflette anche una strategia di posizionamento:

• I produttori di AI possono infatti ridurre drasticamente questa variabilità con parametri tecnici (ad es. abbassando la "temperatura" del modello). Tuttavia, non lo fanno sempre, perché il risultato sarebbe un chatbot prevedibile e troppo "robotico".
• Al contrario, la variabilità è vista come una risorsa strategica, che migliora l'esperienza percepita dagli utenti.

Conclusione (una questione di equilibrio):

Quindi sì, dietro alla scelta di permettere una certa variabilità nelle risposte esiste una componente strategica e di marketing che mira a valorizzare il termine "Intelligenza Artificiale" e a rendere il chatbot percepito come più umano e coinvolgente.

Allo stesso tempo, rimane però valida anche la spiegazione tecnica che questo comportamento dipende dalla natura probabilistica dei modelli generativi.

In sintesi, si tratta di una strategia comunicativa consapevole, costruita su una reale caratteristica tecnica: marketing e tecnologia si incontrano proprio su questo punto.