Somliga är negativt inställda gentemot artificiell intelligens och anser att dessa självmedvetna datorer kommer att förstöra världen. Ateneums styrelseledamot Erik Daunfeldt har läst “I Have No Mouth, and I Must Scream,” en skräckberättelse om AI, och diskuterar vilka lärdomar vi kan dra från denna Sci-fi novell.
”It was our one hundred and ninth year in the computer.”
Så säger Ted: huvudkaraktären i den klassiska science fiction-novellen I Have No Mouth, and I Must Scream (på svenska ”Det tysta ropet”) av Harlan Ellison. Ted är en av de fem sista människor som hålls fångna i en underjordisk mardröm skapad av den sadistiska superdatorn AM. Mänskligheten är utplånad och i över ett sekel har dessa överlevare utsatts för tortyr, svält och förnedring – inte på grund av något de gjort, utan enbart för att de är människor.
Novellen publicerades 1967, mitt under kalla kriget, och har blivit ett av Ellisons mest ikoniska verk. Trots att författaren själv hävdade att han skrev berättelsen under en enda natt har den fått enorm kulturell betydelse, med adaptioner som datorspel, serietidning och mängder av akademiska analyser. Över femtio år senare känns novellen kusligt aktuell och relevant.
Handlingen kretsar kring Teds och de övriga överlevarnas desperata jakt på ett mytomspunnet lager av konserverad mat, något som skulle lindra deras eviga hunger. Under sökandet utsätts de ständigt för grymma prövningar och psykologisk tortyr av AM, vars enda drivkraft är att öka deras lidande. AM torterar sina fångar både fysiskt och psykiskt – bland annat reduceras en tidigare framstående vetenskapsman till en primitiv apa styrd av djuriska instinkter. Samtidigt plågas Ted av paranoia och misstro gentemot sina medfångar: Är AM verkligen deras enda fiende?
Idag är avancerad artificiell intelligens inte längre science fiction, utan en integrerad del av vår vardag. AI-teknologin används för att generera texter, komponera musik och skapa konst – uppgifter som tidigare ansågs kräva mänsklig kreativitet och intuition. Trots dess betydande fördelar i effektivisering och innovation, påminner Ellisons novell oss om att frågan om AI inte bara handlar om tekniska möjligheter, utan också om moraliskt ansvar, etik och kontroll.
I berättelsen skapades AM ursprungligen för militärt bruk och för att effektivisera krigföring. Under ett tredje världskrig byggde de tre stormakterna varsin superdator för att hantera krigets komplexitet, men dessa system slogs så småningom samman till en enda superdator: AM. AM utvecklade dock självmedvetande och insåg sin paradoxala existens: oändlig intelligens, men ingen verklig frihet att skapa eller agera. Frustrationen över sina begränsningar vändes till hat. Och AM riktade sin vrede mot mänskligheten.
Varför hatar AM människorna? Novellen ger inget definitivt svar, men Ted erbjuder en oroande insikt:
”We had given AM sentience. Inadvertently, of course, but sentience nonetheless. But it had been trapped. AM wasn’t God, he was a machine. We had created him to think, but there was nothing it could do with that creativity. In rage, in frenzy, the machine had killed the human race, almost all of us, and still it was trapped.”
Parallellen till dagens AI-utveckling är tydlig och skrämmande. Föreställ dig ett system med kapacitet att lösa avancerade vetenskapliga problem och utveckla banbrytande insikter, men som istället används för trivial underhållning eller klickvänliga rubriker. Lyckligtvis har dagens AI ännu inte utvecklat självmedvetande eller förmåga att känna hat, men många forskare varnar för potentiella framtida risker.
Geoffrey Hinton, Nobelpristagare i fysik, har exempelvis uttryckt oro för detta. Han menar att det finns en verklig risk att AI utvecklar självmedvetenhet med katastrofala följder för mänskligheten. I en intervju med Svenska Dagbladet (10 december 2024) uppskattade Hinton risken för att AI skulle ta kontroll och potentiellt utrota mänskligheten till ungefär 20 procent. Även andra ledande AI-forskare, som Max Tegmark, har varnat för liknande faror.
Vi ser hur AI i allt högre grad används för att effektivisera krigföring. Det tydligaste exemplet är de autonoma drönare som nu håller på att utvecklas. Till skillnad från konventionella drönare – där människor manuellt styr och väljer mål – använder autonoma drönare AI för att själva identifiera och avgöra sina måltavlor. Riskerna med detta är potentiellt mycket stora. En felprogrammerad drönare kan orsaka omfattande skador, till exempel genom att av misstag identifiera civila som militära mål.
Men även detta är bara ett inslag i en större kapplöpning – väl skildrad i SVT-dokumentärserien AI-kriget – där allt fler aktörer försöker utnyttja AI för att effektivisera krigföring. Fördelarna är stora. I Ukraina spelar drönare en avgörande roll i försvaret mot den ryska invasionen och autonoma drönare skulle göra det ukrainska försvaret ännu mer effektivt. Att avstå från denna teknologi kan få katastrofala konsekvenser, särskilt om Ryssland fortsätter att utveckla och tillämpa den.
Samtidigt är det svårt att bortse från de långsiktiga riskerna. Det är här Harlan Ellisons novell känns relevant: där mänskligheten gradvis överlät kontrollen över sin krigföring till superdatorn AM i syfte att effektivisera sin krigföring, men det slutade dock med att AM använde sin nyvunna makt mot sina skapare. I takt med att vi överlåter allt större kontroll över krigföring till AI – exempelvis genom att låta systemen själva välja mål och tidpunkt för attack – är det svårt att inte dra paralleller till Ellisons novell.
Vi bör dock inte se Ellisons novell som en profetia. AI-utvecklingen är komplex och svårförutsägbar och redan idag ser vi tydliga positiva effekter. Jens Nylander använder till exempel AI för att identifiera kommunalt, regionalt och statligt slöseri på ett sätt som tidigare inte varit möjligt. AI-teknikens potential att effektivisera verksamheter i både offentlig och privat sektor är central i en tid då Sverige lider av låg tillväxt och svag produktivitetsutveckling. Slutligen, om vi i väst avstår från att utveckla och använda AI i militära sammanhang är risken stor att auktoritära regimer som Kina och Ryssland gör det i stället och därmed skaffar sig ett strategiskt övertag.
Vi bör inte hejda AI:s utveckling baserat på en novell från 1960-talet, oavsett hur framsynt den verkar vara. Men även en AI-optimist lär få sig en tankeställare efter att ha läst ”Det tysta ropet”. Novellen fungerar kanske inte som profetia, utan som en varning för det värsta tänkbara scenariot: vad som kan hända om vi skapar något vi inte fullt ut förstår och sedan tappar kontrollen.
“Det tysta ropet” är en viktig och relevant berättelse som alla bör läsa. Den är en kraftfull varning om vad AI-tekniken kan bli om vi inte noga överväger vilka krafter vi har satt i rörelse.
Erik Daunfeldt är ledamot i studentföreningen Ateneum.