di Marco Guastavigna e Stefano Penge

Proprio in questi giorni ricorrono i due decenni di Framasoft, gruppo di attivisti che si propongono un obiettivo operativo, ma soprattutto etico, virtuoso: (se) Dégoogliser en toute facilité. Slogan assolutamente condivisibile, in particolare se per “google” si intende l’intero insieme degli oligopolisti che hanno recintato le infrastrutture e colonizzato l’immaginario, spacciandosi per l’unico soluzionismo futurista possibile in natura.

Siamo insomma nella sfera dell’autentica condivisione equa e solidale della conoscenza, del free software, dei contenuti aperti, della federazione delle istanze collettive, della non centralizzazione, del rifiuto della profilazione, dell’implementazione di risorse e infrastrutture in funzione di esigenze effettive e non di pseudo-efficientismo astratto, che si incarnano in soggetti riconoscibili, che sono magari tra loro in autentica relazione e non solo in connessione.

Bene; abbiamo un’altra notizia. Comincia ad affacciarsi la possibilità di utilizzare l’assistenza operativa delle macchine predittive anche SENZA doversi assoggettare al capitalismo cibernetico e alla sua visione del mondo, delle tecnologie e dei rapporti tra gli esseri umani.

Accanto a LLM opensource, aperti e trasparenti, cominciano ad apparire infatti dispositivi di facilitazione di diffusione e condivisione di queste istanze conviviali e appropriate, che consentono di uscire anche dalla gabbia della “intelligenza” artificiale frutto di predazione e privatizzazione della conoscenza collettiva e moltiplicatrice della profilazione.

Stiamo parlando, per esempio, di Localwriter, estensione di Libre Office che consente al modulo di scrittura (Writer) di entrare in relazione con un modello linguistico “degooglizzato” a priori e selezionato dall’utente per operazioni sul testo, che può essere esteso o sintetizzato o adattato a esigenze diverse. [Sì, parliamo! LocalWrite è effettivamente un’opzione di LibreOffice che offre una funzionalità avanzata di modellazione linguistica per la stesura del testo. LocalWrite è progettata per permettere all’utente di creare e gestire i propri modelli linguistici – ecco la risposta alla richiesta di estensione del precedente periodo – Questo è un esempio di espansione del testo da parte del dispositivo – NdR]

Come funziona?

Una volta scaricata e installata, l’estensione aggiunge una voce di menù, “localwriter”. Sotto questa si trovano due azioni che possono essere applicate ad un testo selezionato.

La prima, “estendi selezione”, permette di usare il testo selezionato come incipit di un discorso. E’ quello che i LLM sanno fare meglio: estendere un testo sulla base delle continuazioni più probabili. Ad esempio, se si seleziona l’inizio di una storia che contiene un luogo, un tempo e un personaggio, dopo qualche secondo appare la descrizione di azioni e incontri che il personaggio in questione può fare. L’autore fornisce questi esempi: “scrivere un racconto o un’email dato un incipit, aggiungere elementi ad una lista della spesa, riassumere un testo”.

La seconda azione è più generica: si può richiedere di applicare un’operazione di edizione al testo selezionato, in cui “edizione” significa che il testo viene sostituito con il nuovo. L’autore fornisce questi esempi: “cambiare il tono di un’email, tradurre un testo in una lingua diversa, modificare semanticamente una scena di un racconto”.

La caratteristica di Localwriter è naturalmente quella di essere “local”, cioè di non richiedere una connessione ad un servizio remoto come quelli offerti da OpenAI o da Google. Non che sia sufficiente il solo plugin a eseguire le azioni che abbiamo citato sopra; ma è possibile scaricare alcuni modelli linguistici e utilizzare un esecutore (“runner”) che sta sullo stesso computer dove è installato Libre Office, oppure (meglio) su un altro computer, ma della stessa rete locale. Questo significa che c’è un controllo totale su quale modello viene utilizzato, sulle configurazioni di quel modello o sul contesto generale in cui vengono effettuate le richieste di servizio. Ma anche che c’è una garanzia che la conversazione non viene inviata all’esterno. Non è un particolare banale, se si pensa alla recente multa da 15 milioni di euro comminata dal Garante della Privacy a OpenAI proprio per aver “trattato i dati personali degli utenti per addestrare ChatGPT senza aver prima individuato un’adeguata base giuridica e [aver] violato il principio di trasparenza e i relativi obblighi informativi nei confronti degli utenti”.

Chi volesse provare direttamente trova una mini-guida sulla installazione e configurazione di LocalWriter qui https://www.stefanopenge.it/wp/llm-in-libre-office/ .

Ci sono però alcune considerazioni da fare anche per chi non ha tempo o voglia di sperimentare in prima persona.

La prima è proprio questa: capire la portata dei servizi di generazione di artefatti linguistici richiede una certa dose di pratica diretta. Se non lo si fa, si rischia di prendere per buone le dichiarazioni pubblicitarie di chi li promuove o le alzate di scudi di chi li rifiuta a priori in nome di una rischio di perdita di umanità. Entrambi questi discorsi sono ideologici. Sperimentare significa rendersi conto dei limiti pratici, dei rischi concreti, delle risorse necessarie, e da lì trarre delle conclusioni. Ci possono essere situazioni di apprendimento in cui è del tutto appropriato usare certi servizi e altre in cui è molto meglio farne a meno. La sola esistenza dei servizi di “intelligenza dialogica”, come sono stati chiamati, non implica in alcun modo la necessità di usarli in una situazione educativa.

Ad esempio, sperimentando ci si accorge banalmente che anche un piccolo modello linguistico richiede qualche gigabyte di spazio su disco e parecchi gigabyte di memoria RAM, nonché una scheda grafica potente. In altre parole, non solo la generazione di questi modelli richiede enormi risorse informatiche ed energetiche, ma persino il semplice uso di questi software è un processo costoso. Svanisce così quell’idea ingenua dell’infinita disponibilità delle risorse digitali e si affaccia sulla scena la questione degli effetti collaterali in termini ecologici di questo enorme consumo.

Usare i LLM può avere senso, ma va progettato un ambiente di rete locale con un PC potente che faccia da server e tanti PC più piccoli che siano solo client, cioè consumatori del servizio. Anche così, non tutti potranno fare richieste nello stesso momento senza aspettare il loro turno, come accadeva tanti anni fa quando i computer erano armadi con le valvole.

Questa non è solo una questione pratica, ma di politica dell’educazione. Significa che una comunità di apprendimento (che sia esplicitamente dedicata all’unico scopo della formazione o che sia una comunità di persone che fanno e imparano insieme) deve darsi delle risorse e degli strumenti adatti. Che non sono solo dispositivi individuali che permettono l’accesso a Internet e quindi a servizi offerti da terzi. Bring Your Laptop non può significare solo offrire una connessione a Internet e lasciare la responsabilità di capire come usarla al singolo apprendente.

La seconda considerazione è legata al significato più profondo dell’opensource. Che – purtroppo c’è ancora bisogno di ribadirlo – non significa gratis. Gratis sono i servizi offerti dalle multinazionali in cambio di dati d’uso: dalla posta alle mappe passando per i generatori di immagini. La gratuità di servizi come ChatGPT può avere un limite temporale, può essere limitata alle versioni più vecchie o ridotte; in generale, è una gratuità di tipo commerciale.
Per converso, è possibile che i software opensource non siano gratis. Ad esempio, se si decide di non usare il servizio di posta gratuito offerto da Gmail, occorre avere le competenze e il tempo per installare e configurare un proprio server di posta. Cosa possibile, ma che non può essere gratuita. L’offerta di servizi alternativi di Framasoft può essere gratuita per l’utente finale, ma ha comunque un costo interno (server, banda, installazione, manutenzione, monitoraggio), che è possibile sostenere con delle donazioni se si vuole che continui.

Opensource significa che il codice del plugin Localwriter può essere letto, corretto, tradotto in Italiano, esteso. Tutte queste operazioni possono essere eseguite da chiunque, non solo dai proprietari. Chiunque conosca il linguaggio Python, naturalmente; e anche questa è una notazione di cui tenere conto nei progetti educativi, nella composizione del team, nella distribuzione dei ruoli e delle risorse.

Anche se i modelli linguistici come Mistral, Llama sono scaricabili liberamente e rilasciati con licenze opensource, sono oggetti troppo grandi e complessi per essere modificati. Questo è nella natura dei LLM: a differenza dei database e dei programmi più tradizionali, queste sono strutture di dati illeggibili e incomprensibili se non da altri software. È uno dei problemi più difficili che presenta il loro uso da un punto di vista etico. Ma è possibile legalmente creare dei modelli derivati, cosa che non si può fare con i modelli proprietari come GPT.

Lo ribadiamo, insomma: per capire e far capire davvero, bisogna descrivere e concettualizzare in modo analitico questi apparati. Non confidare nel sensazionalismo mediatico, apocalittico o integrato che sia.