ChatGPT perde i colpi. I ricercatori di Stanford e di Berkeley hanno dimostrato la regressione degli output

Redazione RHC : 28 Luglio 2023 07:59

I ricercatori della Stanford University e dell’Università della California, Berkeley, hanno pubblicato un documento di ricerca che pretende di mostrare i cambiamenti negli output di GPT-4 nel tempo.

Questo studio arriva sulla scia di persone che si lamentano spesso del fatto che GPT-4 è diminuito soggettivamente nelle prestazioni negli ultimi mesi. Le teorie includono modi su come OpenAI, per ridurre il loro sovraccarico computazionale, acceleri l’output per risparmiare risorse GPU.

Nel documento si riporta che la capacità di GPT-4 di identificare i numeri primi è precipitata drasticamente da una precisione del 97,6% a marzo a solo il 2,4% a giugno. Stranamente, GPT-3.5 ha mostrato prestazioni migliorate nello stesso periodo.

Vorresti toccare con mano la Cybersecurity e la tecnologia? Iscriviti GRATIS ai WorkShop Hands-On della RHC Conference 2025 (Giovedì 8 maggio 2025)

Se sei un ragazzo delle scuole medie, superiori o frequenti l'università, oppure banalmente un curioso di qualsiasi età, il giorno giovedì 8 maggio 2025 presso il teatro Italia di Roma (a due passi dalla stazione termini e dalla metro B di Piazza Bologna), si terranno i workshop "hands-on", creati per far avvicinare i ragazzi alla sicurezza informatica e alla tecnologia. Questo anno i workshop saranno:

Creare Un Sistema Ai Di Visual Object Tracking (Hands on)

Social Engineering 2.0: Alla Scoperta Delle Minacce DeepFake

Doxing Con Langflow: Stiamo Costruendo La Fine Della Privacy?

Come Hackerare Un Sito WordPress (Hands on)

Il Cyberbullismo Tra Virtuale E Reale

Come Entrare Nel Dark Web In Sicurezza (Hands on)

Potete iscrivervi gratuitamente all'evento, che è stato creato per poter ispirare i ragazzi verso la sicurezza informatica e la tecnologia.
Per ulteriori informazioni, scrivi a [email protected] oppure su Whatsapp al 379 163 8765

Supporta RHC attraverso:

• L'acquisto del fumetto sul Cybersecurity Awareness
• Ascoltando i nostri Podcast
• Seguendo RHC su WhatsApp
• Seguendo RHC su Telegram
• Scarica gratuitamente "Dark Mirror", il report sul ransomware di Dark Lab

Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.

Pertanto nello studio “Come cambia il comportamento di ChatGPT nel tempo?” su arXiv, Lingjiao Chen, Matei Zaharia e James Zou hanno messo in dubbio le prestazioni costanti dei modelli di linguaggio di grandi dimensioni (LLM) di OpenAI, in particolare GPT-3.5 e GPT-4.

Il documento alimenta una convinzione comune ma non dimostrata che il modello del linguaggio AI sia peggiorato nelle attività di codifica e composizione negli ultimi mesi. Alcuni esperti non sono convinti dai risultati, ma affermano che la mancanza di certezza indica un problema più ampio con il modo in cui OpenAI gestisce i suoi rilasci di modelli.

Utilizzando l’accesso API, hanno testato le versioni di marzo e giugno 2023 di questi modelli su attività come la risoluzione di problemi matematici, la risposta a domande sensibili, la generazione di codice e il ragionamento visivo.

OpenAI è a conoscenza della nuova ricerca e afferma che sta monitorando i rapporti sul declino delle capacità GPT-4. “Il team è a conoscenza delle regressioni segnalate e le sta esaminando“, ha twittato Logan Kilpatrick, responsabile delle relazioni con gli sviluppatori di OpenAI, mercoledì.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.