Le allucinazioni nei modelli linguistici sono un problema intrinseco, non un
difetto risolvibile. I tentativi di controllo qualità sui dati richiedono
risorse impossibili da ottenere. L’unica soluzione pratica: assistenti personali
addestrati su dati limitati
I modelli linguistici rappresentano oggi il cuore pulsante – e più fragile –
dell’industria dell’intelligenza artificiale. Tra promesse di precisione e
realtà di caos statistico, si rivelano strumenti tanto affascinanti quanto
pericolosi, specchio fedele delle illusioni tecnologiche del nostro tempo.
L‘insistenza criminale sui sistemi predittivi fallimentari
C’è solo una cosa peggiore della continua serie di disastri inanellata da tutti
i sistemi predittivi nelle pubbliche amministrazioni negli ultimi dieci anni, ed
è la criminale, idiota insistenza a volersene dotare.
Uno vorrebbe parlare di informatica parlando di scienza, bene, allora parliamo
di tre articoli che i ricercatori in intelligenza artificiale hanno tirato fuori
di recente. Ma non temete, non ci mettiamo a discuterli in dettaglio, facciamo
un discorso più generale.
leggi l'articolo di Vannini oppure ascolta il suo podcast (Dataknightmare)
Tag - Intelligenza Artificiale
L’IA entra in finanza e moltiplica i rischi di bolle e instabilità. Algoritmi
simili, pochi attori dominanti e un mercato sempre più irrazionale
«Ehi, ChatGPT, che azioni mi compro?» Potrebbe sembrare una domanda fatta per
gioco, tanto per vedere che risposte si ottengono. Invece, secondo un articolo
che riprende una ricerca svolta in 13 Paesi su 10mila investitori, uno su dieci
si rivolge a una qualche intelligenza artificiale. Molti tra questi
prenderebbero in considerazione l’idea di lasciare direttamente nelle mani
dell’IA la scelta su quali transazioni finanziarie eseguire. Dalla ricerca,
sembra che le risposte dei chatbot siano ragionevoli e prudenti, insistendo sul
fatto che è impossibile predire l’andamento dei mercati, in ragione della
complessità e della quantità di fattori che possono influenzarli.
[...]
Riassumendo: un oligopolio di imprese tecnologiche fornisce algoritmi che
guidano gli investimenti sui mercati, mercati dominati da un oligopolio di
investitori istituzionali, che sono i loro maggiori azionisti. Cosa potrebbe mai
andare storto?
Leggi l'articolo
Oggi l’intelligenza artificiale, lasciata in mano a una manciata di miliardari,
diviene una minaccia esistenziale alla scuola. Oggi, contro questa I.A., diciamo
BASTA!
Nella trasmissione di Radio Onda Rossa, l'Ora di Buco, si riparla di
Intelligenza artificiale a scuola: un docente di informatica spiega tutto quello
che non va nelle fumose linee guida ministeriali. Inoltre presenta l'appello
alla comunità educante per rifiutare l'introduzione dell'Intelligenza
Artificiale delle multinazionali e proporre invece delle tecnologie realmente
utili a studenti, insegnanti e personale non docente della scuola.
Qui alcune riflessioni critiche e preoccupate, con l'appello da diffondere e
firmare.
Ascolta l'audio dell'intervento
Vai alla puntata dell'Ora di Buco
Riceviamo e volentieri pubblichiamo.
Colleghe, colleghi, madri, padri, alle nostre allieve e allievi di ogni colore,
genere, orientamento, provenienza.
Noi siamo il prodotto di 35 anni di lotte, dalla riforma Berlinguer al taglio di
un anno di istruzione tecnica e professionale, in via di realizzazione da parte
del Ministro Valditara. Alcune abbandonate, alcune perse, alcune - per fortuna -
vinte.
Oggi l’intelligenza artificiale, lasciata in mano a una manciata di miliardari,
diviene una minaccia esistenziale alla scuola.
Oggi, contro questa I.A., diciamo BASTA!
Leggi l'appello e firma.
Apriamo con una lunga analisi delle Linee guida per l'Introduzione
dell'Intelligenza Artificiale nella scuola. Proseguiamo con un commento sulle
dichiarazioni di Durov; le nuove regole per pubblicare applicazioni su Android.
Infine la rubrica notiziole.
Di Linee guida per l'Introduzione dell'Intelligenza Artificiale nella scuola se
ne è già parlato all'ora di buco, ma ci torniamo sopra per parlare anche degli
aspetti più prettamente tecnologici.
Per la rubrica notiziole
* Israele cede le aziende di malware agli Usa;
* l'ICE, Agenzia che si occupa della deportazione di migranti irregolari negli
Usa fa shopping di prodotti di sorveglianza;
* infine, oggi le comiche, ma al massimo per 2 ore.
Le dita nella presa salterà le prossime due puntate, torniamo Domenica 2
Novembre con una puntata speciale!
Ascolta sul sito di Radio Onda Rossa
Presentato durante il DIG Festival di Modena, racconta l'inquietante dietro le
quinte di chi sostiene interi sistemi tecnologici. Ne abbiamo parlato con il
regista, Henri Poulain
L’intelligenza artificiale occupa uno spazio sempre maggiore nel dibattito
contemporaneo. Soprattutto al cinema dove è diventato il prisma attraverso cui
si riflettono le nostre paure, le nostre speranze e le domande più radicali
sull’identità umana, sul controllo della tecnologia e sul futuro della società.
L’AI è diventata un vero campo di battaglia politico e sociale, dove si
incontrano, e si scontrano, questioni economiche, ambientali e legate ai diritti
dei lavoratori. Ancora una volta è il cinema a investigare questo rapporto
complesso, mostrando cosa si nasconde dietro dati, cloud e reti digitali, grazie
al prezioso documentario In the Belly of AI, diretto da Henri Poulain,
presentato durante il DIG Festival di Modena.
Un’opera che smonta l’illusione di un’intelligenza artificiale immateriale e
trascendente, rivelando invece quale prezzo paghiamo quotidianamente per
sostenere interi sistemi tecnologici, infrastrutture che consumano e dilapidano
energia, risorse naturali e vite umane. In the Belly of AI parte proprio da
questo per raccontare la vita lavorativa dei data worker che, secondo un
rapporto della World Bank pubblicato lo scorso anno, si stima che nel mondo
siano tra i 150 e i 430 milioni, e che il loro numero sia cresciuto in modo
esponenziale nell’ultimo decennio.
Leggi l'articolo
L'intervento a Radio Onda Rossa di un collaboratore di C.I.R.C.E. a proposito
dell'uso dell'intelligenza artificiale nella scuola a partire dalle linee guida
recentemente emanate dal Ministero dell'Istruzione evidenziandone
contraddizioni, limiti e speculazioni e sottolineando l'ennesimo trasferimento
di fondi pubblici ai privati, i soliti big tech.
Molto in sistesi: l'Intelligenza Artificiale delle multinazionali tecnologiche,
in particolare i Large Language Model, non andrebbe usata perché è insostenibile
dal punto di vista ambientale, replica discriminazioni e stereotipi della
società, standardizza scrittura e pensiero.
Ascolta l'audio dell'intervento
Seconda parte del bignamino di Quatrociocchi sugli LLM spiegati senza
supercazzole.
Un LLM non è un pensatore profondo: è un sistema statistico addestrato su enormi
quantità di testo per modellare le regolarità del linguaggio, senza accesso
diretto al mondo reale. Tutto quello che fa è empiricamente descrivibile e
riproducibile: nessuna magia, nessun “spirito” emergente.
Riporto di seguito i concetti. L'originale si può leggere su Linkedin
EMBEDDING
I computer non capiscono parole, elaborano numeri. Per questo ogni parola viene
trasformata in un elenco di numeri chiamato vettore. Se due parole compaiono
spesso nello stesso contesto (“gatto” e “cane”), i loro vettori saranno vicini;
se non compaiono mai insieme (“gatto” e “trattore”), saranno lontani. È una
mappa statistica, non un dizionario di significati. Nessun concetto, solo
distanze in uno spazio di numeri.
TOKENIZZAZIONE
Il modello non legge il testo come facciamo noi. Spezza le frasi in piccoli
pezzi chiamati token. A volte una parola è un token intero, altre volte viene
spezzata: “incredibile” può diventare “in”, “credi”, “bile”. Il modello lavora
solo con questi pezzi, non con concetti o frasi intere. Non c’è un “pensiero”
sotto: solo pezzi da ricomporre.
POSITIONAL ENCODING –
Perché l’ordine delle parole non si perda, a ogni token viene aggiunta
un’informazione sulla sua posizione nella frase. È così che il modello distingue
tra “l’uomo morde il cane” e “il cane morde l’uomo”. Non è grammatica: è solo un
trucco matematico per non confondere l’ordine. Coordinate, non regole
sintattiche.
FINE-TUNING E RLHF
Dopo l’addestramento di base, il modello viene “educato” con dati più mirati o
con istruzioni di esseri umani (RLHF = Reinforcement Learning with Human
Feedback). Qui gli umani dicono: “questa risposta va bene, questa no”. È così
che il modello impara a rispondere in modo più chiaro e cortese, ma resta
statistica, non personalità. Premi e punizioni, non comprensione.
Prosegue...
CONTEXT WINDOW
Un modello non ricorda all’infinito. Ha una “finestra di contesto” che
stabilisce quante parole può considerare alla volta. Se è troppo piccola,
dimentica l’inizio della conversazione. Oggi i modelli più avanzati hanno
finestre molto ampie e possono “tenere a mente” testi enormi in un’unica volta.
Ma sempre con memoria a breve termine: finita la finestra, sparisce tutto.
PROMPT ENGINEERING
Dare istruzioni chiare migliora le risposte. Non perché il modello “capisca”, ma
perché guidi meglio la scelta delle parole. Domanda confusa = risposta confusa.
Niente magia: solo input più mirati.
DECODING
Dopo aver calcolato la probabilità di ogni parola possibile, il modello deve
sceglierne una.
* Greedy decoding: Prende sempre quella più probabile → testo corretto ma
noioso.
* Sampling: pesca a caso seguendo le probabilità → più varietà, ma rischia di
dire sciocchezze.
* Beam search: valuta più frasi in parallelo e sceglie la migliore → più lento
ma di qualità. Non c’è ispirazione: solo diverse strategie di scelta.
TEMPERATURE E TOP-K
Sono le “manopole dello stile”.
* Temperature regola la creatività: bassa = frasi prevedibili, alta = frasi
fantasiose (a volte troppo).
* Top-k dice al modello: “considera solo le k parole più probabili”.
Tutto qui: numeri, probabilità, un po’ di informatica. Tantissimi dati e tanta
potenza di calcolo. Niente magia. Niente filosofia dei termosifoni.
Walter Quattrociocchi ha pubblicato un bignamino di concetti base degli LLM.
(ovvero: capire in 90 secondi un LLM e sembrare competenti a cena senza coprire
l’abisso delle proprie lacune con il pensiero circolare e le supercazzole
pop-filosofiche sull’etica dei termosifoni col cimurro)
Un LLM non è un pensatore profondo: è un sistema statistico addestrato su enormi
quantità di testo per modellare le regolarità del linguaggio, senza accesso
diretto al mondo reale. Tutto quello che fa è empiricamente descrivibile e
riproducibile: nessuna magia, nessun “spirito” emergente.
Riporto di seguito i concetti. L'originale si può leggere su Linkedin
Correlazione
Due parole sono “amiche” se nei dati compaiono insieme più spesso di quanto
accadrebbe per puro caso. Non serve sapere cosa significhino: il modello rileva
che “pizza” e “mozzarella” si presentano insieme molto più di “pizza” e
“batteria dell’auto” e registra quella regolarità. Ogni parola è un vettore in
uno spazio con centinaia di dimensioni; la vicinanza riflette la probabilità di
apparire in contesti simili.
Processo stocastico
Quando scrive, un LLM non applica logica o ragionamento causale: genera parole
campionando dalla distribuzione di probabilità appresa per il contesto. Se il
testo è “Il gatto sta…”, la distribuzione assegnerà alta probabilità a
“dormendo” e bassa a “pilotando un aereo”. Parametri come temperature, top-k o
nucleus sampling introducono variabilità. È una catena di Markov di ordine
elevato: chi sostiene che “ragiona” deve spiegare in che senso un campionamento
possa costituire ragionamento.
Ottimizzazione
L’abilità dell’LLM deriva dalla minimizzazione di una funzione di perdita
(tipicamente la cross-entropy) tra le previsioni e i dati reali. Attraverso il
gradient descent, miliardi di parametri vengono regolati per ridurre l’errore di
previsione sul prossimo token. Dopo trilioni di iterazioni, l’output diventa
statisticamente indistinguibile dal testo umano.
Transformer
Architettura alla base degli LLM. Il self-attention valuta quanto ogni parola
sia rilevante rispetto a tutte le altre del contesto, non solo a quelle vicine.
A differenza delle vecchie reti sequenziali, il Transformer guarda l’intera
sequenza in parallelo, mantenendo il contesto anche a distanza, accelerando
l’addestramento e gestendo testi lunghi.
Allucinazioni
Il modello può produrre frasi false ma plausibili perché non confronta le uscite
con il mondo reale. L’accuratezza è un effetto collaterale, non un vincolo
progettuale.
Scaling
La potenza di un LLM cresce con parametri, dati e calcolo (scaling laws). Più
grande non significa “più intelligente”: significa solo un vocabolario
statistico più ricco e preciso.
La cosa affascinante non è che stia emergendo una mente, ma che sappiamo
codificare in forma computabile l’intelligenza implicita nel linguaggio. Quel
linguaggio lo abbiamo generato noi: un LLM è il riflesso statistico della nostra
produzione linguistica, organizzato così bene da sembrare vivo, ma resta un
simulatore di linguaggio umano.
I problemi delle linee guida per l’adozione dell’intelligenza artificiale in
tutti gli ordini e gradi di istruzione: tra clamorose assenze, contraddizioni e
ossimori. L’ennesima riforma calata dall’alto. Ma un’altra strada è possibile
Al rientro a scuola, studenti, famiglie e docenti hanno trovato l’ennesima
sorpresa: un dettagliato libriccino contenente le linee guida per una rapida
adozione – naturalmente consapevole, responsabile e senza ulteriori oneri a
carico del bilancio – dell’intelligenza artificiale in tutti gli ordini e gradi
di istruzione.
A una prima analisi, le linee guida sembrano proseguire nella spinta verso
l'adozione di tecnologie digitali non facilmente controllabili dagli attori
della scuola, con un forte rischio che si riproponga lo scenario già visto con i
progetti PNRR Scuola 4.0: una corsa a spendere fondi per introdurre hardware e
software, senza possibilità di scelta consapevole da parte delle scuole,
terminata in un sostanziale trasferimento di fondi pubblici al privato. L'enfasi
sull'innovazione tecnologica e sulla transizione digitale delle scuole raramente
tiene conto delle esigenze didattiche della comunità scolastica, per puntare
l'obiettivo su un mero accumulo di tecnologie che si rivelano ingestibili dalle
scuole, vuoi per incapacità, vuoi perché le tecnologie adottate sono spesso
opache, o anche perché delegate completamente a imprese private.
L'articolo di Mazzoneschi e Barale (C.I.R.C.E.) è uscito nel quotidiano Domani.
Qui per leggere la versione integrale