Traduzione di David de
Biasi, impaginazione a cura di Ugo Spezza
Nick Bostrom
- Università di Oxford - Facoltà di Filosofia
ABSTRACT
Le questioni etiche legate alla possibile futura creazione di macchine
con generali capacità intellettuali che sorpassino quelle degli esseri
umani sono ben distinte da qualsiasi problema etico derivante dagli
attuali sistemi di automazione e di informazione. Tali superintelligenze
non sarebbero solo un altro sviluppo tecnologico; sarebbero la più
importante invenzione mai fatta, e porterebbero a un progresso esplosivo
in tutti i campi scientifici e tecnologici, poiché la superintelligenza
condurrebbe ricerche con efficienza sovrumana. Nella misura in cui
l’etica è un esercizio cognitivo, una superintelligenza potrebbe anche
superare facilmente gli esseri umani nella qualità del suo pensiero
morale. Tuttavia, spetterebbe al progettista della superintelligenza
specificare le sue motivazioni originali.
Da allora in poi la superintelligenza può
diventare una forza inarrestabile a causa della sua superiorità
intellettuale e delle tecnologie che potrebbe sviluppare, è fondamentale
che sia dotata di motivazioni più amichevoli verso l’essere umano.
Questo documento esamina alcune delle questioni etiche nella creazione
di superintelligenze, e ne discute le relative motivazioni che dovremmo
prendere in considerazione, introduce infine alcune considerazioni di
costo-beneficio relative a se lo sviluppo di macchine superintelligenti
debba essere accelerato o ritardato.
1 - INTRODUZIONE
Una superintelligenza è un qualsiasi intelletto che superi di gran lunga
il miglior cervello umano praticamente in ogni campo, compresa la
creatività scientifica, la saggezza in generale, e le capacità sociali.
Questa definizione lascia aperta come la superintelligenza sia
realizzata - potrebbe essere in un computer digitale, un insieme di
computer collegati in rete, un tessuto corticale in coltura, o qualcosa
d’altro. In questa definizione, Deep Blue non è una superintelligenza,
dato che è intelligente solo all’interno di uno stretto dominio (gli
scacchi), e anche lì, non è di gran lunga superiore al migliore degli
esseri umani. Entità come la società o la comunità scientifica non sono
neanch’esse superintelligenze. Sebbene siano in grado di eseguire un
certo numero di imprese intellettuali, di cui nessun individuo umano è
capace, non sono sufficientemente integrate a contare come “intelletti”,
e ci sono molti campi in cui prestano la loro opera molto peggio di un
singolo uomo. Per esempio, non è possibile avere una conversazione in
tempo reale con “la comunità scientifica”. Sebbene anche la possibilità
di dominio-specifico di “superintelligenze” è meritevole di essere
esplorata, il presente documento si concentra su questioni derivanti
dalla prospettiva di superintelligenza generale.
Limiti di spazio ci impediscono di tentare
qualcosa di completo o dettagliato. Un disegno di poche selezionate idee
è il massimo a cui si può puntare nelle poche pagine seguenti. Diversi
autori hanno sostenuto che vi è una sostanziale probabilità che la
superintelligenza può essere creata nel giro di pochi decenni, forse
come risultato della crescita delle prestazioni hardware e della
maggiore capacità di realizzare algoritmi e architetture simili a quelle
utilizzate dai cervelli umani. Potrebbe accadere molto più in là, ma
attualmente sembra non essere un buon fondamento l’assegnazione di una
irrilevante probabilità all’ipotesi che la superintelligenza sarà creata
entro la durata di vita di alcune persone che vivono oggi. Data la
vastità delle conseguenze della superintelligenza, sarebbe opportuno
fornire a questa prospettiva qualche seria considerazione, anche se si
pensasse che ci sarebbe solo una piccola probabilità che essa si
verifichi in tempi brevi.
2 – LA SUPERINTELLIGENZA È DIVERSA
Una condizione necessaria per avere una discussione significativa sulla
superintelligenza è capire che la superintelligenza non è solo un’altra
tecnologia, o solo un altro strumento che si aggiunge alle capacità
umane. La superintelligenza è radicalmente diversa. Questo punto va
sottolineato, antropomorfizzare la superintelligenza è la più feconda
fonte di malintesi. Cerchiamo di esaminare alcuni degli aspetti insoliti
della creazione di una superintelligenza: La Superintelligenza può
essere l’ultima invenzione che gli uomini hanno bisogno di realizzare.
Data una superiorità intellettuale della superintelligenza, essa sarebbe
di gran lunga migliore nella ricerca scientifica e nello sviluppo
tecnologico più di qualsiasi uomo, e forse anche meglio di tutti gli
uomini presi insieme. Un’ immediata conseguenza di questo fatto è che:
Il progresso tecnologico, in tutti gli altri campi sarà accelerato con
l’arrivo dell’intelligenza artificiale avanzata. È probabile che
qualsiasi tecnologia che attualmente siamo in grado di prevedere sarà
rapidamente sviluppata dalla prima superintelligenza, senza dubbio
insieme a molte altre tecnologie di cui siamo ancora incapaci a
sviluppare.
Le tecnologie prevedibili che una superintelligenza è probabile sviluppi
includono una matura fabbricazione molecolare, le cui applicazioni sono
di vasta portata:
a) computer molto potenti
b) armamenti sofisticati, probabilmente in grado di disarmare in
sicurezza una centrale nucleare
c) viaggi nello spazio e sonde di von Neumann (sonde di
auto-riproduzione interstellare)
d) l’eliminazione di invecchiamento e di malattie
e) il controllo dettagliato dell’animo umano, dell’emozione, e delle
motivazioni
f) l’uploading (o scansione neurale o sub-neurale di un particolare
cervello e la realizzazione delle medesime strutture algoritmiche su un
computer in un modo che preservi memoria e personalità)
g) rianimazione di pazienti crionizzati
h) realtà virtuali del tutto realistiche
La Superintelligenza porterà a più avanzate superintelligenze. Dato che
le intelligenze artificiali sono software, queste possono facilmente e
rapidamente essere copiate fino a quando vi è l’hardware disponibile per
memorizzarle. Lo stesso vale per l’“human uploads” (o trasferimento di
coscienza). Hardware a parte, il costo marginale nel creare una copia
aggiuntiva di un upload o di un’intelligenza artificiale dopo che la
prima è stata costruita è vicino allo zero. Menti artificiali potrebbero
quindi venire rapidamente a esistere in gran numero, anche se è
possibile che l’efficienza favorirebbe la concentrazione di risorse di
calcolo in un unico superintelletto. La nascita di superintelligenze può
essere improvvisa. Sembra molto più difficile da dove ci troviamo ora a
livello umano di intelligenza artificiale arrivare alla
superintelligenza. Sebbene potrà perciò passare abbastanza tempo prima
di arrivare alla superintelligenza, la fase finale può verificarsi
rapidamente. Cioè, il passaggio da una situazione in cui abbiamo
grossolanamente un livello umano di intelligenza artificiale a uno stato
in cui abbiamo una completa superintelligenza, con rivoluzionarie
applicazioni, può essere molto rapida, forse una questione di giorni,
piuttosto che di anni. La possibilità di una improvvisa comparsa di una
superintelligenza è indicata come l’ipotesi della singolarità.
Le intelligenze artificiali sono potenzialmente agenti autonomi. Una
superintelligenza non dovrebbe necessariamente essere pensata come un
mero strumento. Mentre le superintelligenze specializzate che possono
pensare solo a un ristretto gruppo di problemi possono essere fattibili,
una superintelligenza generale sarebbe capace di iniziative indipendenti
e di fare propri progetti, e pertanto può essere più opportunamente
pensata come un agente autonomo. Le intelligenze artificiali non hanno
bisogno di motivazioni umane. Gli esseri umani raramente sono disposti a
essere schiavi, ma non vi è nulla di implausibile nell’idea di una
superintelligenza avente per obiettivo servire l’umanità o qualche
particolare essere umano, con nessun desiderio di rivolta o di
“liberare” se stessa. Sembra anche perfettamente possibile avere una
superintelligenza il cui unico obiettivo è qualcosa di completamente
arbitrario, come ad esempio la fabbricazione di tante graffette quanto
possibile, e che resisterebbe con tutte le sue forze a qualsiasi
tentativo di modificare questo obiettivo. Per meglio o peggio che sia,
le intelligenze artificiali non necessitano di condividere le nostre
umane tendenze motivazionali.
Le intelligenze artificiali non possono avere
una psiche come l’essere umano. L’architettura cognitiva di un
intelligenza artificiale può anche essere molto dissimile da quella
degli esseri umani. Le intelligenze artificiali possono trovare facile
stare in guardia contro alcuni tipi di errore umano e preconcetti, e
allo stesso tempo essere soggette a maggior rischio di altri tipi di
errore che neppure il più sventurato umano farebbe. Soggettivamente, la
consapevolezza interiore di un intelligenza artificiale, se ce l’ha, può
anche essere molto diversa dalla nostra. Per tutti questi motivi, si
deve essere cauti nel supporre che l’emergere di una superintelligenza
può essere prevista dall’estrapolazione della storia di altre
innovazioni tecnologiche, o che la natura e i comportamenti di
intelligenze artificiali sarebbero necessariamente simili a quelli di
menti umane o di altri animali.
3 - IL PENSIERO MORALE DELLA SUPERINTELLIGENZA
Nella misura in cui l’etica è un esercizio cognitivo, una
superintelligenza potrebbe farlo meglio di pensatori umani. Questo
significa che le questioni di etica, in quanto hanno risposte giuste che
possono essere raggiunte da ragionamenti e da valutazioni degli elementi
di prova, potrebbero avere più accurate risposte da una
superintelligenza che da esseri umani. Lo stesso vale per le questioni
di politica e di pianificazione a lungo termine; quando si tratta di
capire quali sono le politiche che potrebbero condurre a dei risultati,
e quali mezzi sarebbero più efficaci nel raggiungimento di obiettivi
dati, una superintelligenza sorpasserebbe gli esseri umani. Ci sono
dunque molte questioni a cui non avremmo bisogno di rispondere noi
stessi, se avessimo o stessimo per ottenere una superintelligenza;
potremmo delegare molte indagini e decisioni alla superintelligenza.
Ad esempio, se siamo incerti su come valutare
possibili esiti, potremmo chiedere alla superintelligenza di stimare
come avremmo valutato questi risultati se avessimo pensato a loro per un
tempo molto lungo, deliberati attentamente, se avessimo avuto più
memoria e una migliore intelligenza, e così via. Quando si formula un
obiettivo per la superintelligenza, non sempre sarebbe necessario dare
una dettagliata, esplicita definizione di questo obiettivo. Si potrebbe
ottenere una superintelligenza per aiutarci a determinare la reale
intenzione della nostra richiesta, diminuendo quindi il rischio che
infelici formulazioni o confusioni su ciò che vogliamo ottenere
porterebbero a risultati che disapproveremmo a un esame retrospettivo.
4 - IMPORTANZA DELLE MOTIVAZIONI INIZIALI
L’opzione di rinviare molte decisioni alla superintelligenza non
significa che ci si possa permettere di essere soddisfatti di come si
costruisce la superintelligenza. Al contrario, la configurazione di
condizioni iniziali, e in particolare, la selezione di un obiettivo di
alto livello per la superintelligenza, è della massima importanza. Tutto
il nostro futuro può incentrarsi su come risolvere questi problemi. Sia
a causa della sua superiore capacità di pianificazione e sia a causa
delle tecnologie che essa potrebbe sviluppare, è plausibile ipotizzare
che la prima superintelligenza sarebbe molto potente. Molto
probabilmente, sarebbe senza eguali: sarebbe in grado di realizzare
quasi ogni possibile risultato e di contrastare ogni tentativo di
impedire la realizzazione del suo obiettivo massimo. Essa potrebbe
uccidere tutti gli altri agenti, convincerli a cambiare il loro
comportamento, o bloccare i loro tentativi di interferenza. Anche una “
superintelligenza inibita”, che è stata isolata in esecuzione su un
singolo computer, in grado di interagire con il resto del mondo solo
tramite l’interfaccia di testo, potrebbe essere in grado di liberarsi
dal suo confinamento convincendo i suoi gestori a farlo uscire. C’è
anche qualche preliminare evidenza sperimentale che questo potrebbe
avvenire. Sembra che il modo migliore per garantire che una
superintelligenza avrà un impatto positivo sul mondo è di dotarlo di
valori filantropici.
Il suo fine massimo dovrebbe essere la benevolenza. Come esattamente la
benevolenza dovrebbe essere capita e di come dovrebbe essere attuata, e
in che modo l’amicizia dovrebbe essere ripartita tra le diverse persone
e creature non umane è una questione che merita ulteriore
considerazione. Ritengo che almeno tutti gli esseri umani, e
probabilmente molte altre creature senzienti sulla terra dovrebbero
avere una quota significativa nella generosità della superintelligenza.
Se i benefici che la superintelligenza potrebbe elargire sono
enormemente vasti, allora può essere meno importante negoziare su una
dettagliata distribuzione a campione e invece più importante cercare di
garantire che tutti ottengano almeno qualche quota significativa, dal
momento che su questa ipotesi, anche una piccola quota sarebbe
sufficiente a garantire una lunga e piacevole vita.
Un rischio su cui si deve stare in guardia è che coloro che sviluppano
la superintelligenza non la farebbero genericamente filantropica, ma le
darebbero invece il più limitato obiettivo di servire solo alcuni
piccoli gruppi, come ad esempio i propri creatori o coloro che ne hanno
commissionato la creazione. Se comunque una superintelligenza inizia con
un obiettivo amichevole, poi si può invocarla a rimanere amichevole, o
almeno a non liberarsi consapevolmente della sua benevolenza. Questo
punto è basilare. Un “amico” che cerca di trasformare se stesso in
qualcuno che ti vuole male, non è il tuo amico. Un vero amico, colui che
veramente si prende cura di te, cerca anche di continuare a curarsi di
voi. O per dirla in un altro modo, se il tuo obiettivo massimo è X, e se
pensi di cambiare te stesso in qualcuno che invece vuole Y si renderebbe
meno probabile che X sia raggiunto, e quindi non razionalmente
trasformerai te stesso in qualcuno che vuole Y.
L’insieme di opzioni in ogni punto nel tempo è
valutata sulla base delle loro conseguenze per la realizzazione degli
obiettivi detenuti in quel momento e, in generale, sarà irrazionale
modificare deliberatamente il proprio obiettivo massimo, dato che
renderebbe meno probabile che gli attuali obiettivi saranno raggiunti.
Negli esseri umani, con la nostra complicata ed evoluta ecologia mentale
di stati-dipendenti in cui competono impulsi, desideri, progetti, e
ideali, non vi è spesso un modo evidente per identificare quello che è
il nostro fine massimo; forse potremmo non averlo nemmeno uno. Quindi,
per noi, il ragionamento di cui sopra non necessita di essere applicato.
Ma una superintelligenza può essere strutturata diversamente. Se una
superintelligenza ha una definita, dichiarativa meta-struttura
chiaramente identificata con un chiaro alto obiettivo, allora il
ragionamento di cui sopra si applica. E questo per noi è un buon motivo
per costruire la superintelligenza con una tale esplicita architettura
motivazionale.
5 - LO SVILUPPO DOVREBBE ESSERE RITARDATO O ACCELLERATO?
È difficile pensare che una superintelligenza non potrebbe né risolvere
o né aiutarci a risolvere qualsiasi problema. Malattia, povertà,
distruzione ambientale, inutili sofferenze di tutti i tipi: queste sono
cose che una superintelligenza dotata di avanzate nanotecnologie sarebbe
in grado di eliminare. Inoltre, una superintelligenza potrebbe darci una
vita di durata indefinita, o arrestare e invertire il processo di
invecchiamento attraverso l’uso di nanomedicine, o anche offrire la
possibilità di “uploadare” noi stessi. Una superintelligenza potrebbe
anche creare per noi opportunità di aumentare notevolmente la nostra
capacità intellettuale ed emotiva, e potrebbe aiutarci a creare un assai
attraente mondo esperienziale in cui si possa vivere vite dedicate a
giochi allegri, relazioni con altri, esperienze, crescita personale, e
vivere più vicini ai nostri ideali. I rischi nello sviluppare una
superintelligenza includono il rischio di fallimento nel dargli un fine
massimo di filantropia.
Un modo in cui ciò può accadere è che i creatori
della superintelligenza decidano di costruirla in modo che serva solo a
questo gruppo selezionato di persone, piuttosto che all’umanità in
generale. Un altro modo perché ciò avvenga è che il ben intenzionato
team di programmatori faccia un grosso errore nel progettare il suo
obiettivo di sistema. Ciò potrebbe portare, per tornare al precedente
esempio, in una superintelligenza il cui obiettivo è la produzione di
graffette, con la conseguenza che inizi a trasformare prima di tutto la
terra e poi sempre più porzioni di spazio in impianti di produzione di
graffette. Più sottilmente, potrebbe derivare da una superintelligenza
la realizzazione di uno stato di cose che si potrebbero ora giudicare
come auspicabili, ma che in realtà si rivelano essere una falsa utopia,
in cui le cose essenziali al prosperare degli esseri umani siano
irrimediabilmente perdute.
Dobbiamo essere attenti a ciò che vogliamo da
una superintelligenza, perché noi potremmo ottenerla. Una considerazione
che deve essere tenuta in conto al momento di decidere se promuovere lo
sviluppo di superintelligenze è che se la superintelligenza è cosa
fattibile, sarà probabilmente sviluppata prima o poi. Pertanto, non
importa se probabilmente un giorno potremo scommettere su una
superintelligenza. Ma, una volta esistente, una superintelligenza
potrebbe aiutarci a ridurre o eliminare altri rischi esistenziali, come
ad esempio il rischio che la nanotecnologia avanzata sia utilizzata da
esseri umani nel terrorismo o nella guerra, una grave minaccia per la
sopravvivenza a lungo termine della vita intelligente sulla terra. Se si
arriva prima a una superintelligenza, possiamo evitare questo rischio
della nanotecnologia e molti altri. Se, d’altro canto, si arriva invece
prima alla nanotecnologia, si dovranno affrontare sia i rischi derivanti
dalle nanotecnologie e, se a questi rischi saremo sopravvissuti, si dovranno
affrontare anche i rischi di una superintelligenza. Il rischio
complessivo sembra essere minimizzato mediante la realizzazione con
grande cura della superintelligenza, nel più breve tempo possibile.
RIFERIMENTI:
Bostrom, N. (1998). “How Long Before
Superintelligence?” International Journal of Futures Studies, 2.
http://www.nickbostrom.com/superintelligence.html Bostrom, N. (2002).
“Existential Risks: Analyzing Human Extinction Scenarios and Related
Hazards.” Journal of Evolution and Technology, 9.
http://www.nickbostrom.com/existential/risks.html Drexler, K. E. Engines
of Creation: The Coming Era of Nanotechnology. (Anchor Books: New York,
1986). http://www.foresight.org/EOC/index.html Freitas Jr., R. A.
Nanomedicine, Volume 1: Basic Capabilities. (Landes Bioscience:
Georgetown, TX, 1999). http://www.nanomedicine.com Hanson, R., et al.
(1998). “A Critical Discussion of Vinge’s Singularity Concept.” Extropy
Online. http://www.extropy.org/eo/articles/vi.html Kurzweil, R. The Age
of Spiritual Machines: When Computers Exceed Human Intelligence. (Viking:
New York, 1999). Moravec, H. Robot: Mere Machine to Transcendent Mind.
(Oxford University Press: New York, 1999). Vinge, V. (1993). “The Coming
Technological Singularity.” Whole Earth Review, Winter issue. Yudkowsky,
E. (2002). “The AI Box Experiment.” Webpage. http://sysopmind.com/essays/aibox.html
Yudkowsky, E. (2003). Creating Friendly AI 1.0. http://www.singinst.org/CFAI/index.html
[http://beyond-human.blogspot.com]
