Un giornalista di Axios, Stephen Totilo, ha provato compiere un esperimento sull’efficacia di ChatGPT all’interno del suo lavoro. Totilo ha programmato l’intelligenza artificiale per porre nove domande, ognuna diretta a un diverso sviluppatore videoludico, con un accorgimento per evitare domande eccessivamente generiche: in ogni domanda l’IA avrebbe dovuto utilizzare una parola chiave specifica, scelta dal relativo intervistato. Il risultato? Quattro domande su nove piene di errori.
Le prime tre interviste, rivolte a sviluppatori di giochi indie, sono filate piuttosto lisce, con domande ben articolate e incentrate nel modo corretto sulla parola chiave scelta dall’intervistato. Il caso portato come esempio nella serie di tweet che trovate in calce è quello di Mads Vadsholt, sviluppatore di The Forest Quartet e che ha vinto un premio per l’audio del gioco, che ha scelto la parola “jazz”.
Le cose si sono fatte più strane a partire dalla seconda serie di domande in cui, nonostante ChatGPT sia riuscita a cavarsela con “banana” come parola chiave scelta dagli sviluppatori di God of War Ragnarok, ha poi fallito miseramente quando ingannata dal team dietro a Immortality, il gioco di Half Mermaid che ha vinto un premio per la sua narrativa. La parola chiave, “sparatutto in prima persona”, ha confuso l’IA, la quale ha erroneamente asserito che Immortality fosse il primo gioco della compagnia ad aver abbandonato le meccaniche FPS per concentrarsi sulla narrativa. In caso non ne foste a conoscenza, Half Mermaid non ha mai pubblicato FPS.
Tuttavia, sono state le ultime tre interviste a mostrare ancora di più la capacità di ChatGPT di sbagliare pur ritenendo di stare nel giusto. Durante una domanda diretta a due sviluppatori di Obsidian che hanno partecipato alla creazione di Pentiment, anch’esso vincitore di un premio per la narrativa, l’intelligenza artificiale ha inserito un errato riassunto della trama del gioco, nonostante si sia basato sulla parola chiave “manoscritto”, perfettamente in linea con il titolo.
Inoltre, sempre durante la stessa serie di interviste ChatGPT ha definito John Romero come il creatore di DOOM, invece che il suo co-creatore, e ha affermato che l’host dei GDC Awards del 2023 aveva già interpretato questo ruolo in anni passati, quando in realtà si è trattata della prima volta.
Si tratta quindi della conferma che, nonostante gli esperti stiano cercando di bloccare lo sviluppo incontrollato di ChatGPT, l’intelligenza artificiale è ben lungi dal poter sostituire completamente gli esseri umani, almeno non nel giornalismo.
I recently interviewed some of the world's top video game developers—with the help of ChatGPT
The experiment: Have the AI write 1 question for each developer
The result: 9 questions asked, 9 answers given. BUT…. 4 of the questions had errors
Let's break this down…
— Stephen Totilo (@stephentotilo) April 14, 2023