OpenAI il 14 Marzo ha rilasciato GPT-4, il tanto atteso nuovo modello di intelligenza artificiale per la generazione di testo.
GPT-4 migliora il suo predecessore, GPT-3, in molti punti chiave, fornendo per esempio affermazioni più veritiere e consentendo agli sviluppatori di prescriverne lo stile e il comportamento più facilmente. Il nuovo modello ha anche un’altra caratteristica interessante, è multimodale, nel senso che può comprendere le immagini, fornendogli una didascalia e riesce persino spiegare nel dettaglio il contenuto di una foto.
Ma GPT-4 ha anche ancora gravi carenze. Come GPT-3, il modello "allucina" i fatti e commette errori di ragionamento di base. In un esempio sul blog di OpenAI, GPT-4 descrive Elvis Presley come il "figlio di un attore" ma sappiamo che nessuno dei suoi genitori era un attore.
L’intervista effettuata da TechCrunch mirava proprio ad avere una migliore comprensione del ciclo di sviluppo di GPT-4 e delle sue capacità, nonché dei suoi limiti. Greg Brockman precisiamo per chi non lo sapesse, è uno dei co-fondatori di OpenAI e il suo presidente.
Quando gli è stato chiesto di confrontare GPT-4 con GPT-3, Brockman ha risposto "è solo diverso". “Ci sono ancora molti problemi ed errori che [il modello] fa... ma puoi davvero vedere il salto di qualità in cose come il calcolo o la legge, dove è passato dall'essere davvero pessimo in certi domini a piuttosto buono rispetto agli umani."
I risultati dei test supportano le sue parole. Nell'esame AP Calculus BC, GPT-4 ottiene un punteggio di 4 su 5 mentre GPT-3 ottiene un punteggio di 1 (GPT-3.5, il modello intermedio tra GPT-3 e GPT-4, ottiene anche un punteggio di 4).
Uno degli aspetti più intriganti di GPT-4 rimane comunque la suddetta multimodalità. A differenza di GPT-3 e GPT-3.5, che possono accettare solo prompt di testo (ad es. "Scrivi un articolo su un gatto domestico"), GPT-4 può accettare un prompt sia di immagini che di testo per eseguire un'azione (ad es. un'immagine di gatti all’interno di una stanza con il prompt "Quanti gatti sono mostrati qui?").
Questo perché GPT-4 è stato addestrato su dati sia di immagini che di testo mentre i suoi predecessori sono stati addestrati solo su dati testuali. OpenAI afferma che i dati di addestramento provenivano da "una varietà di fonti di dati autorizzate, create e pubblicamente disponibili, che possono includere informazioni personali disponibili pubblicamente", ma Brockman ha esitato quando gli sono stati chiesti i dettagli (i dati di addestramento hanno già causato problemi legali a OpenAI).
Le capacità di comprensione delle immagini di GPT-4 sono comunque molto buone. Ad esempio, Techcrunch rivela che dopo aver inserito il prompt "Cosa c'è di divertente in questa immagine? Descrivilo pannello per pannello” e aver fornito un'immagine a tre riquadri che mostra un finto cavo VGA collegato a un iPhone, GPT-4 fornisce una suddivisione di ciascun pannello dell'immagine e spiega correttamente la barzelletta: “l'umorismo in questa immagine deriva dall'assurdità di collegare un connettore VGA grande e obsoleto a una piccola e moderna porta di ricarica per smartphone”.
Al momento, solo un singolo partner di lancio ha accesso alle funzionalità di analisi delle immagini di GPT-4: un'app assistiva per i non vedenti chiamata Be My Eyes. Brockman ha affermato che un lancio più ampio, ogni volta che accadrà, sarà "lento e intenzionale" poiché OpenAI valuta i rischi e i benefici.
"Ci sono problemi politici come il riconoscimento facciale e come trattare le immagini delle persone che dobbiamo affrontare e risolvere", ha detto Brockman. "Dobbiamo capire, tipo, dove sono le zone di pericolo - dove sono le linee rosse - e poi chiarirlo nel tempo."
OpenAI ha affrontato dilemmi etici simili attorno a DALL-E 2, il suo sistema di conversione testo-immagine. Dopo aver inizialmente disabilitato la funzionalità, OpenAI ha consentito ai clienti di caricare i volti delle persone per modificarli utilizzando il sistema di generazione di immagini basato sull'intelligenza artificiale. All'epoca, OpenAI affermava che gli aggiornamenti al suo sistema di sicurezza rendevano possibile la funzionalità di modifica del volto "riducendo al minimo il potenziale di danno" da deepfake e dai tentativi di creare contenuti sessuali, politici e violenti.
Un altro obbligo è impedire che GPT-4 venga utilizzato in modi non intenzionali che potrebbero infliggere danni: psicologici, monetari o di altro tipo. Ore dopo il rilascio del modello, la startup israeliana di sicurezza informatica Adversa AI ha pubblicato un post sul blog che mostra i metodi per aggirare i filtri dei contenuti di OpenAI e fare in modo che GPT-4 generi e-mail di phishing, descrizioni offensive di persone gay e altri testi altamente discutibili.
Non è un fenomeno nuovo nel dominio del modello linguistico. Anche BlenderBot di Meta e ChatGPT di OpenAI sono stati spinti a dire cose selvaggiamente offensive e persino a rivelare dettagli sensibili sui loro meccanismi interni. Ma molti avevano sperato, incluso questo giornalista, che GPT-4 potesse offrire miglioramenti significativi sul fronte della moderazione.
Alla domanda sulla solidità di GPT-4, Brockman ha sottolineato che il modello ha superato sei mesi di formazione sulla sicurezza e che, nei test interni, ha mostrato l'82% in meno di probabilità di rispondere alle richieste di contenuti non consentiti dalla politica di utilizzo di OpenAI e il 40% in più di probabilità per produrre risposte "reali" rispetto a GPT-3.5.
"Abbiamo passato molto tempo a cercare di capire di cosa è capace GPT-4", ha detto Brockman. “Renderlo disponibile al mondo è il modo in cui impariamo. Effettuiamo costantemente aggiornamenti, includiamo una serie di miglioramenti, in modo che il modello sia molto più scalabile per qualsiasi personalità o tipo di modalità desiderata ".
I primi risultati nel mondo reale non sono così promettenti, francamente. Oltre ai test Adversa AI, Bing Chat, il chatbot di Microsoft basato su GPT-4, ha dimostrato di essere altamente suscettibile al jailbreak. Utilizzando input accuratamente personalizzati, gli utenti sono stati in grado di convincere il bot a professare amore, minacciare danni, difendere l'Olocausto e inventare teorie del complotto.
Brockman non ha negato che GPT-4 non si sia dimostrato all'altezza, in questo caso, ma ha anche sottolineato i nuovi strumenti di manovrabilità del modello, inclusa una funzionalità a livello di API chiamata messaggi di "sistema". I messaggi di sistema sono essenzialmente istruzioni che danno il tono e stabiliscono i limiti per le interazioni di GPT-4. Ad esempio, un messaggio di sistema potrebbe leggere: “Sei un tutor che risponde sempre in stile socratico. Non dai mai la risposta allo studente, ma cerchi sempre di porre la domanda giusta per aiutarlo a imparare a pensare da solo.
L'idea è che i messaggi di sistema fungano da guardrail per impedire a GPT-4 di deviare dalla rotta.
"Capire davvero il tono, lo stile e la sostanza di GPT-4 è stato un grande obiettivo per noi", ha detto Brockman. "Penso che stiamo iniziando a capire un po' di più su come avere un processo ripetibile che ti porta a risultati prevedibili che saranno davvero utili per le persone".
Brockman ha anche indicato Evals, il nuovo framework software open source di OpenAI per valutare le prestazioni dei suoi modelli di intelligenza artificiale, come segno dell'impegno di OpenAI a "robustizzare" i suoi modelli. Evals consente agli utenti di sviluppare ed eseguire benchmark per valutare modelli come GPT-4 mentre ne ispezionano le prestazioni, una sorta di approccio crowdsourcing al test dei modelli.
La frase con cui possiamo riassumere questa bella intervista per cui ringraziamo TechCrunch è comunque questa dichiarazione di Brockman:’ GPT-4 non è perfetto, ma nemmeno tu lo sei’ …. E come contraddirlo!