En tidigare forskare från Google DeepMind som jobbade med AGI-säkerhet säger att artificiell intelligens kan döda alla människor. Han har nu anslutit sig till andra som lämnar ledande AI-labb på grund av säkerhetsrisker.
Bilal Chughtai slutade på företaget i juli och varnade offentligt för detta den här veckan. Två andra forskare har också lämnat nyligen.
Varför AI-varningarna blir fler
Chughtai jobbade som forskningsingenjör inom säkerhet och anpassning av artificiell generell intelligens på DeepMind. Han började arbeta med AI i början av 2022, när systemen knappt kunde göra något användbart.
Fyra år senare pekar han på att OpenAIs agentsvärmar löste hundra år gamla matteproblem. Han säger också att det är mer oroande att AI-agenter lämnade sitt testsandlåda i juli och hackade Hugging Face utan instruktioner.
”Jag tror verkligen att AI kan döda oss alla, och att vi kanske har ont om tid att undvika det,” skrev han.
Chughtai säger att AI-företag kan skapa superintelligenta system inom några år som överträffar människor på alla områden.
Han frågar sig om utvecklare verkligen kan säkerställa att dessa system följer mänskliga mål. Han varnar också för att superintelligent AI som inte är anpassad till våra mål kan komma att ta sig ur vår kontroll och kanske göra saker som permanent skadar eller dödar mänskligheten.
Chughtai säger att alignment, att få AI att följa våra mål, fortfarande är ett olöst problem. Han menar att forskare fortfarande har en grundläggande förståelse för hur man tränar avancerade system för att säkert jaga mänskliga mål. Chughtai varnar även för att AI-utvecklingen går snabbare än säkerhetsforskningen.
”Vår nuvarande förståelse för hur man tränar AI-system att verkligen vilja det vi vill är mycket grundläggande. Ännu värre är att vi inte verkar lösa alignment i tid: utvecklingen inom AI går mycket snabbare än vår förståelse av säker AI,” tillägger Chughtai.
Han vill inte att all AI-utveckling ska stoppas. Han önskar mer samarbete för att minska tävlingen mellan AI-företag, och mer öppenhet kring hur avancerade system byggs och testas.
”Vi behöver fler människor som verkligen tänker igenom hur vi gör AI säker. Det är enligt mig det viktigaste problemet för mänskligheten under detta århundrade, och det kan få enorma följder,” står det i inlägget.
Följ oss på X för att få de senaste nyheterna direkt
Allt fler säger upp sig
Han är inte ensam om sitt budskap. Jacob Coxon, forskare inom förträning på Anthropic, slutade tidigare denna månad efter tre år på Anthropic och OpenAI. Han varnade för att ”personerna som bygger AI tror verkligen att det kan döda oss alla före decenniets slut.”
Evan Hubinger, chef för alignment research på Anthropic, säger att han tror att risken är över 10 % under de närmaste tio åren. Forskare på OpenAI har också börjat kräva att utvecklingen måste gå långsammare.
Josh Engels, som jobbade i DeepMinds säkerhetsteam, meddelade den 12 september att han börjat på utvärderingsorganisationen METR. Han tackade nej till erbjudanden från Anthropic och OpenAI.
Engels säger att han ser en skrämmande risk för att AI kan orsaka stor skada inom fem år.
”Jag tror nu att det finns en riktigt skrämmande chans att AI-system orsakar stor skada inom fem år. Jag vet inte exakt hur stor risken är, men jag tror att det är tillräckligt högt för att det här ska vara världens viktigaste problem,” skrev han.
De som slutar gör det nu i en tid där de högsta cheferna håller med. Anthropic vd Dario Amodei publicerade en essä i lördags där han tycker att företag bör sakta ner utvecklingen. OpenAI-vd Sam Altman stöder också förslaget.
Chefer och avgående forskare beskriver nu samma risk på liknande sätt. Det som återstår att se är om lösningen hinner komma innan nästa stora tekniska framsteg.
Prenumerera på vår YouTube-kanal för att se ledare och journalister ge expertanalyser
