Intelligenza artificiale: dopo i siti web saremo noi ad addestrarli con le nostre informazioni private, poi ...

L'IA e il futuro dell'apprendimento: una riflessione interessante

Recentemente, il New Yorker ha pubblicato un penetrante articolo scritto da James Somers intitolato "How Will A.I. Learn Next?". Questo pezzo getta luce sulla crescente interazione tra l'intelligenza artificiale e il nostro ecosistema digitale, e solleva questioni che meritano una profonda riflessione.

Somers inizia descrivendo la nascita di Stack Overflow nel 2008, un sito creato per permettere ai programmatori di rispondere alle domande degli altri. Come ha giustamente notato, "[...], the Web was thin on high-quality technical information", ed è qui che Stack Overflow è intervenuto, diventando un gioco di domande e risposte in cui i partecipanti potevano guadagnare punti per domande popolari e risposte utili. In un breve lasso di tempo, il sito è diventato un'indispensabile risorsa per i programmatori.

Tuttavia, con l'avvento dei chatbot e dei grandi modelli linguistici come ChatGPT di OpenAI e Bard di Google, il paradigma sta cambiando. Come Somers ha citato, "Their goal is to ingest the Web so comprehensively that it might as well not exist." Questa affermazione è al centro della preoccupazione dell'articolo: l'IA sta minacciando le proprie principali fonti di dati.

Uno dei punti salienti dell'articolo è quando l'autore menziona: "ChatGPT is such a good programmer that the savvy developers I know aren’t using Stack Overflow anymore—and yet it’s partly by studying Stack Overflow that ChatGPT became such a good programmer." Questo mette in evidenza un dilemma interessante.

Se le IA diventano così efficienti da rendere obsoleti i siti da cui hanno imparato, quale sarà il futuro dell'apprendimento per l'IA?

Somers fa notare che molti sviluppatori, inclusi lui stesso, hanno fornito informazioni e contribuito a piattaforme come Stack Overflow, Reddit e Wikipedia senza rendersi conto che stavano alimentando l'addestramento dell'IA. E ora, queste piattaforme stanno valutando l'opzione di fare pagare le aziende per l'accesso ai loro dati.

Il punto culminante dell'articolo riguarda la sostenibilità di questa modalità di apprendimento per l'IA. Somers pone una domanda cruciale: "It’s possible that A.I.s can only hoover up the whole Web once. If they are to continue getting smarter, they will need new reservoirs of knowledge. Where will it come from?"

Le fonti saremo inconsapevolmente noi

"Le aziende di Intelligenza Artificiale stanno già rivolgendo la loro attenzione a una possibile fonte: le chat," scrive il New Yorker, evidenziando come chiunque utilizzi un chatbot come Bard o ChatGPT partecipi a un massivo esercizio di formazione.

È affascinante notare che la ragione per cui questi bot sono forniti gratuitamente potrebbe risiedere nel fatto che "i dati di un utente sono più preziosi del suo denaro: tutto ciò che scriviamo in una chatbot contribuisce al suo modello."

Chiunque utilizzi un chatbot come Bard o ChatGPT partecipa a un massivo esercizio di formazione.

Infatti, una delle ragioni per cui questi bot sono forniti gratuitamente potrebbe essere che i dati di un utente sono più preziosi del suo denaro: tutto ciò che scriviamo in una chatbot contribuisce al suo modello.

Oltre a ciò, non facciamo solo digitazione ma anche copia e incolla di e-mail, documenti, codice, manuali, contratti, ecc. Chiediamo spesso ai bot di riassumere questo materiale e poi poniamo domande precise, condensando in un certo senso l'informazione. Attualmente, c'è un limite a quanto si può incollare in una chatbot, ma la quantità di nuovi dati che possiamo fornirgli crescerà.

Presto, molti di noi inizieranno anche a importare in massa i nostri documenti più privati in questi modelli.

Nessun chatbot mi ha ancora chiesto di concedergli accesso ai miei archivi e-mail o ai miei testi, calendari, appunti e file. Ma, in cambio di un assistente personale A.I., potrei essere tentato di compromettere la mia privacy. Un bot di assistenza potrebbe spingermi a installare un'estensione del browser che traccia le mie attività sul web in modo da apprendere dai miei dettagliati modelli di ricerca e navigazione.

Ma questa è solo la punta dell'iceberg.

L'articolo sottolinea un futuro in cui ChatGPT e simili potrebbero diventare "multimodali", mescolando fluidamente testo, immagini, video e suono.

"Prima che modelli come GPT-3.5 e GPT-4 diventassero parte del prodotto ChatGPT, sono stati sintonizzati con ciò che OpenAI chiama 'apprendimento per rinforzo da feedback umano', o R.L.H.F.

Essenzialmente, OpenAI ha pagato tester umani per conversare con il modello grezzo e valutare la qualità delle sue risposte; il modello ha appreso da queste valutazioni.

È grazie al R.L.H.F. che ChatGPT è così straordinariamente bravo a capire esattamente cosa stai chiedendo. Questo processo era probabilmente costoso. Ma ora R.L.H.F. può essere ottenuto gratuitamente e su scala molto più ampia, attraverso conversazioni con utenti reali.

Questo processo, come rileva il New Yorker, era inizialmente costoso.

Ma con l'espansione dei chatbot, l'addestramento e la valutazione possono ora avvenire su una scala senza precedenti.

Forse la limitazione fondamentale dei grandi modelli linguistici di oggi è che dipendono da conoscenze generate dalle persone.

Una grande svolta arriverà quando i bot potranno generare conoscenza da soli.

Una possibile via riguarda i dati sintetici.

Sam Altman, l'amministratore delegato di OpenAI, ha detto che i dati sintetici potrebbero presto superare i dati reali nelle sessioni di addestramento per i L.L.M. L'idea sarebbe quella di avere un modello simile a GPT che generi documenti, conversazioni e valutazioni di come sono andate quelle conversazioni, e poi un altro modello, forse solo una copia del primo, che le assimili.

Invece di fare affidamento solo sui dati reali, potremmo vedere una nuova era in cui i modelli di IA generano e si addestrano su dati creati da loro stessi.

L'uso dei chatbot per valutare e formare altri chatbot indica la direzione verso l'obiettivo finale di rimuovere completamente gli esseri umani dal ciclo.

Da molto tempo, i ricercatori di A.I. hanno incrementato i loro set di dati come prassi: un reticolo neurale addestrato su immagini, ad esempio, potrebbe subire un passaggio preliminare in cui ogni immagine viene ruotata di novanta gradi, ridimensionata o specchiata. Ma la manipolazione può essere molto più complessa.

La speranza è di entrare in un regime di formazione simile a quello degli A.I. progettati per giochi come gli scacchi.

Altman è ottimista sui dati sintetici, ma ci sono ragioni per essere scettici. Non importa quanto tu sia intelligente, non puoi imparare nuovi fatti sul mondo esaminando ciò che già sai. Gli esseri umani non diventano migliori scrittori solo leggendo le proprie opere, o esercitandosi nella scrittura di frasi che troviamo sempre più piacevoli.

Commento distopico finale

Spesso in questi articoli sull'evoluzione dell'intelligenza artificiale mi piace riallacciarmi a un film distopico che ha fatto storia: MATRIX.

Nel film "Matrix", l'Agente Smith spiega a Morpheus che la prima versione della Matrix era un paradiso perfetto, un utopia, ma gli esseri umani non l'accettavano e molti morivano. Gli umani non potevano accettare una realtà perfetta. Di conseguenza, le macchine dovettero creare una versione della Matrix che fosse una rappresentazione più fedele della storia umana, con tutte le sue imperfezioni, al fine di garantire che gli esseri umani la accettassero e rimanessero stabilmente connessi al sistema, senza ammalarsi o morire. Questa versione "imperfetta" della realtà virtuale è quella in cui si svolge la maggior parte del film.

Almeno nel film le macchine hanno bisogno di noi e della nostra fantasia, per funzionare come batterie. Appunto.