Salve a tutti, siete all'ascolto di INSiDER - Dentro la Tecnologia, un podcast di Digital People e io sono il vostro host, Davide Fasoli.

Nella quarta puntata dell'edizione estiva, Luca Martinelli, autore del podcast, ci parlerà della fissazione di ChatGPT per i goblin e altri personaggi fantasy e della recente scoperta del J-Space di Claude, per capire quanto davvero conosciamo l'Intelligenza Artificiale.

L'Intelligenza Artificiale è ormai diventata un tema ricorrente, sia nella vita quotidiana che in questo podcast, dove abbiamo affrontato l'argomento sotto innumerevoli punti di vista, dal suo funzionamento pratico all'impatto dell'IA generativa nel mondo del lavoro.

Oggi però affronteremo una storia divertente legata proprio ai modelli linguistici, ChatGPT in particolare, ma che porta con sé un quesito che tutti noi, dai ricercatori agli utenti finali, dovremmo chiederci.

Quanto sappiamo, veramente, cosa succede dentro i modelli linguistici quando rispondono?

Partiamo dalla storia.

Qualche mese fa, tra aprile e maggio, gli utenti di Codex, il sistema di OpenAI per scrivere codice, hanno cominciato a notare qualcosa che il chatbot continuava, in modo molto randomico e con una frequenza sempre più insistente di giorno in giorno, a citare.

I goblin.

Chiamava "piccoli goblin" i bug che trovava nel codice, si autodefiniva "goblin con la torcia" quando andava a caccia di errori.

Ma questa specie di fissazione non era limitata solo ai goblin, ma anche ad altri elementi fantasy e non, come gremlin, procioni, troll, orchi o piccioni.

OpenAI ha chiaramente subito approfondito e sistemato il problema, ma ne ha anche raccontato l'origine.

L'azienda ha infatti notato per la prima volta un uso più frequente di queste parole a novembre, in coincidenza con il rilascio di GPT-5.1, che secondo alcuni utenti aveva un tono fin troppo amichevole e presentava alcuni strani tic linguistici.

Con i modelli successivi il fenomeno è esploso, con la parola "goblin" che ha visto una crescita di uso di svariate migliaia di punti percentuali rispetto alla versione precedente.

Indagando, OpenAI ha scoperto che il grosso di questa impennata arrivava da una specifica "personalità" che gli utenti potevano scegliere per il proprio chatbot, chiamata "Nerd", e pensata per chi ama la scienza, l'informatica e certe nicchie culturali proprio come il fantasy o i giochi da tavolo.

Il problema è che, senza che gli sviluppatori se ne accorgessero, era stato creato un sistema di valutazione che premiava le risposte più creative e stravaganti, e tra queste, guarda caso, quelle che citavano creature fantasy come goblin e gremlin.

Il modello, ricevendo un feedback positivo ogni volta che le usava ha quindi cominciato a farlo sempre di più, contaminando pian piano anche le altre personalità disponibili inserendosi direttamente nella fase di addestramento.

Quello che sembra quasi una barzelletta, insomma, è un esempio perfetto di un problema alla base molto più ampio, e che ci porta alla domanda iniziale.

Nessuno in OpenAI aveva previsto, tanto meno voluto, questo comportamento, ma è emerso da solo come effetto collaterale del sistema di ricompensa.

E questo ha reso ancor più difficile capire l'origine di questa fissazione.

Perché, quindi, sempre più spesso, i modelli di IA si comportano in modi che nemmeno chi li costruisce riesce a spiegare?

La risposta breve è che questi sistemi non vengono programmati istruzione per istruzione come un software tradizionale, ma vengono addestrati.

Si mostrano loro enormi quantità di dati e si premiano certi comportamenti rispetto ad altri, un po' come si farebbe con un animale che impara per prove ed errori.

Il risultato è che dentro a questi modelli si formano milioni di connessioni e associazioni che nessun essere umano ha scritto a mano, e che spesso restano un mistero anche per chi li ha creati, la cosiddetta "black box".

Proprio su questo fronte, tra l'altro, poche settimane fa è arrivata da Anthropic una notizia che ha fatto molto discutere.

L'azienda ha infatti pubblicato una ricerca in cui racconta di aver individuato - dentro ai propri modelli - una piccola area interna a cui ha dato il nome di "J-Space".

Si tratta di una piccola collezione di pattern neurali interni che, rispetto a tutto il resto dell'elaborazione del modello, sembrano giocare un ruolo speciale.

Ogni pattern del J-Space è infatti legato a una parola specifica, e quando viene coinvolto sembra che il modello stia in qualche modo pensando a quella parola, senza però esporla come output all'utente.

Un esempio?

Chiedendo a Claude "Qual è il numero di zampe dell'animale che tesse ragnatele?", i ricercatori hanno notato che nel J-Space si accende la parola "ragno" e, successivamente, il modello risponde semplicemente con "8".

Modificando la parola "ragno" in "formica" nel J-Space e rifacendo la domanda, anche la risposta di Claude è cambiata, erroneamente, in "6".

Il funzionamento è molto simile alla teoria dello spazio di lavoro globale, un'idea della neuroscienza secondo cui il cervello funzionerebbe come un teatro, con tanti processi specializzati che lavorano in parallelo dietro le quinte, mentre solo una

piccola parte di informazioni finisce sotto i riflettori e diventa quello che percepiamo come pensiero cosciente.

Anthropic è stata molto attenta a chiarire che questo non dimostra che Claude sia cosciente, ma è comunque una scoperta che cambia il modo di guardare a questi sistemi, ossia non più solo output da valutare a posteriori, ma processi interni che, almeno in parte, si possono osservare mentre accadono.

E questo dimostra anche che, forse senza saperlo, i modelli AI stanno diventando ben più di semplici "pappagalli statistici", come li definisce qualcuno, ossia modelli in grado di concatenare parole l'una dopo l'altra nel modo più probabile possibile, ma potrebbero star diventando qualcosa di molto più complesso.

E questo significa anche che la nostra capacità di prevedere e controllare questi sistemi, che diventano ogni mese sempre più potenti, è ancora troppo limitata.

I goblin di Codex e il J-Space di Claude sono in fondo due facce della stessa medaglia, da un lato un comportamento buffo e innocuo nato da un incentivo sbagliato, dall'altro, invece, una scoperta che potrebbe invece rivelarsi decisiva per comprendere e intercettare comportamenti ben più delicati.

Forse, quindi, è il caso di smettere, per un momento, di accelerare lo sviluppo alla ricerca del modello più potente e intelligente degli altri, e fermarsi per studiare e approfondire a 360 gradi una tecnologia di cui, forse, conosciamo ancora troppo poco e che, chissà, potrebbe anche aiutarci a comprendere qualcosa di più su noi stessi.

E così si conclude questa puntata di INSiDER - Dentro la Tecnologia, io ringrazio come sempre la redazione e in special modo Matteo Gallo e Luca Martinelli che ogni sabato mattina ci permettono di pubblicare un nuovo episodio.

Per qualsiasi tipo di domanda o suggerimento scriveteci a redazione@dentrolatecnologia.it, seguiteci su Instagram a @dentrolatecnologia dove durante la settimana pubblichiamo notizie e approfondimenti.

In qualsiasi caso nella descrizione della puntata troverete tutti i nostri social.

Se trovate interessante il podcast condividetelo che per noi è un ottimo modo per crescere e non dimenticate di farci pubblicità.

Noi ci sentiamo la settimana prossima.