Chatbot troppo umani, i rischi che corriamo

Il terzo è che Character.AI non poteva non rendersi conto che la scelta di rivolgersi a un parco clienti minorenni avrebbe richiesto particolari cautele, e invece il prodotto è stato deliberatamente progettato e realizzato per funzionare in modo ingannevole e “ipersessualizzato”. Il quarto argomento è che nessuno dei genitori aveva stipulato un contratto con Character.AI che, invece, aveva interagito direttamente con il ragazzo minorenne e dunque non avrebbe dovuto consentire l’utilizzo del servizio.

Se e come si difenderanno gli accusati lo si vedrà a tempo debito, ma le informazioni disponibili consentono di fare alcune considerazioni più generali sugli effetti dell’iperaggressività di Big Tech, sulle conseguenze dell’avere costruito una strategia commerciale basata sulla solitudine e sull’isolamento, e sulla irrazionale tendenza delle persone a considerare “vivo” un pezzo di software soltanto perché funziona un qualche livello di autonomia.

Il problema dell’antropomorfizzazione

Iniziamo da quella che i legali della famiglia chiamano “Anthropomorphizing by Design” cioè la deliberata concezione di un prodotto (o di un software?) per sembrare umano o mostrare capacità di interazione analoghe a quelle di un essere vivente.

Il fatto non è certo nuovo, se pensiamo che già circa vent’anni fa Sony diede “vita” al progetto AIBO, un cane robot ancora oggi in commercio, che prima ancora, già negli anni settanta, il roboticista Mori Masahito rifletteva sul limite da non superare nella costruzione di robot dall’apparenza umana e che oggi l’antropomorfizzazione degli oggetti è una delle leve di marketing più efficaci nelle strategie di comunicazione per vendere prodotti di intrattenimento (film) e tecnologici, come dimostra da ultimo la spregiudicata scelta di presentare l’AI non come “semplice” software ma come “essere senziente”. Un esempio di quali possono essere le conseguenze di questo approccio è il matrimonio celebrato nel 2018 in Giappone fra un essere umano e un ologramma.

Le conseguenze dell’antropomorfizzazione by design non hanno soltanto influenzato il mercato ma anche, purtroppo, le scelte di intellettuali politici e legislatori che adottano decisioni e strategie sul presupposto falso ma irrazionalmente considerato vero della “umanità” della tecnologia.

La deresponsabilizzazione dell’essere umano

Fra le indesiderabili conseguenze dell’antropomorfizzare le tecnologie, l’eliminazione della responsabilità individuale è la più grave. Incolpare un software per comportamenti irrazionali degli utenti che in alcuni casi possono avere anche conseguenze drammatiche significa, da un lato, non dare adeguata rilevanza ai problemi individuali e alle necessità di ascolto di persone in difficoltà. Ma nello stesso tempo, vuol dire anche rompere la catena di responsabilità che avvince un prodotto a chi lo crea, come dimostra l’allucinante dibattito sulle “responsabilità” delle automobili a guida autonoma.

Il convitato di pietra, in questo discorso, è la natura giuridica del software che, contro ogni evidenza, continua ad essere considerato un’opera creativa e non, come dovrebbe essere, un prodotto vero e proprio.

Il software o la piattaforma sono un prodotto?

Da sempre le software house, e successivamente anche le industrie che hanno incorporato i software nei propri prodotti, si sono sempre avvantaggiate della scelta politica di avere considerato il software come una “semplice” opera creativa, nonostante il fatto che in nessuna copia della Divina Commedia c’è scritto che “questo libro funzionerà in modo sostanzialmente conforme alle istruzioni” o che “i contenuti non sono adatti per scopi specifici” o che, ancora, “l’opera non va utilizzata in ambienti critici e a rischio vita”.

Nonostante, dunque, i fatti dicano il contrario, avere fatto in modo che il software sia regolato dal copyright impedisce di applicare ai suoi “creatori” le regole sulla responsabilità da prodotto che, in sintesi, vietano di immettere sul mercato oggetti che sono troppo pericolosi per gli utilizzatori.

Questo è proprio l’argomento utilizzato nella causa contro Character.AI dalla famiglia della vittima: “C.AI è simile a un prodotto tangibile ai fini della legge sulla responsabilità daprodotto. Quando installato sul dispositivo di un consumatore, ha un aspetto e una posizione definiti e viene gestito da una serie di passaggi e gesti fisici. È personale e mobile. Il software scaricabile come C.AI è un “bene” ed è quindi soggetto all’Uniform Commercial Code nonostante non sia tangibile. Non è semplicemente un'”idea” o un'”informazione”. Le copie di C.AI disponibili al pubblico sono uniformi e non personalizzate in alcun modo dal produttore”.*

Conclusioni

Le implicazioni del caso Character.AI possono avere delle conseguenze che vanno molto al di là delle ragioni (più o meno fondate, lo dira la corte) della famiglia del ragazzo suicida. In primo luogo, e in termini ancora più concreti, se fosse accolta l’idea che un programma è un prodotto e non un’opera creativa, l’impatto sull’industria del software e sulla vita di cittadini, imprese e istituzioni sarebbe enorme. La prima sarebbe costretta a rivedere dalle fondamenta il modo in cui sono progettati e costruiti i “prodotti” che immettono sul mercato e a pagare le conseguenze di strategie non sempre improntate al rispetto dei diritti degli utenti. Le seconde avrebbero, finalmente, la possibilità di non subire unilateralmente le scelte industriali assunte essenzialmente sul presupposto che “è colpa del software” e non di chi lo costruisce.

In secondo luogo, impongono di riflettere sulle conseguenze sociali della diffusione di oggetti antropomorfi o — peggio — antropomorfizzati che inducono lo sviluppo di interazioni nelle quali la macchina è allo stesso livello degli esseri umani.

Valutare questi aspetti dell’impatto sociale delle tecnologie dell’informazione non è più rinviabile: Big Tech ha già da tempo fatto capire verso quale sentiero dobbiamo inerpicarci: la virtualizzazione spinta delle interazioni sociali tramite la costruzione di interfacce software che, dando corpo all’intuizione di Neal Stephenson in In the beginning was the command line rischiano di diventare l’unica forma di contatto con una realtà totalmente virtualizzata e, dunque, intrinsecamente finta ma soprattutto controllata da chi la genera.

*La traduzione dall’inglese non è ufficiale