P(doom)

P(doom), ungefär "sannolikheten för undergång", är sannolikheten i procent för katastrofalt utfall av artificiell intelligens. På skalan anger 0 procent ingen fara medan 100 procent anger en helsäker utrotning av människan. Det pågår en IT-säkerhetsdebatt i ämnet och värdena skiljer sig åt, förutsägelserna emellan.

P(doom) började som ett internt skämt på forumet Effective Altruism Forum, och i slutet av 2010-talet hade P(doom) etablerats som begrepp bland forskare inom artificiell intelligens. I samband med lanseringen av ChatGPT-4, år 2023, ökade fokuset på artificiell intelligens och säkerhet, och då blev begreppet mer spritt utanför forskarvärlden. Begreppet är inte helt entydigt definierat, till exempel tidsramarna och innebörden av "undergång". Det är inte heller klarlagt om ett givet utfall tar hänsyn till betydelsen, eller eventuell förutsättning, av "artificiell generell intelligens".

När en rad datorforskare 2023 ombads uppskatta sannolikheten för att framstegen inom artificiell intelligens skulle kunna leda till mänsklig utrotning under de kommande 100 åren blev medelvärdet 14,4 % och medianvärdet 5 %. Svenska datorforskaren Max Tegmark vid MIT menar att P(doom) är över 90 procent.

Noterbara P(doom)-värden Namn P(doom) Kommentar Källa 15 <1 %Avser sannolikheten för att mänskligheten är utrotad till följd av AI år 2100, med hänsyn tagen till förväntade mänskliga ingripanden. Amerikansk datavetare och programvaruutvecklare, grundare av 15.ai. Scott Aaronson Cirka 2 % Amerikansk teoretisk datavetare och innehavare av Schlumberger Centennial-professuren i datavetenskap vid University of Texas at Austin. Sam Altman >0 % Vd för Open AI. Dario Amodei 10–25 % Vd för Anthropic. Marc Andreessen 0 % Medgrundare av riskkapitalbolaget Andreessen Horowitz. Yoshua Bengio 20 %Professor Bengio uppgav sitt p(doom): ”Jag kom fram till ungefär 20 procents sannolikhet för att utfallet blir katastrofalt.” Bengio kom fram till siffran utifrån flera antaganden, däribland 50 procents sannolikhet för att AI skulle nå mänsklig förmåga inom ett årtionde och mer än 50 procents sannolikhet för att AI eller människor själva skulle vända tekniken mot mänskligheten i stor skala. Datavetare, chef för forskningsinstitutet Mila och Turingpristagare. Grady Booch Cirka 0 %Motsvarar sannolikheten för att allt syre i hans rum spontant samlas i ett hörn och därmed kväver honom. Amerikansk programvaruutvecklare. Vitalik Buterin 12 % Medgrundare av Ethereum. Paul Christiano 50 % Forskningschef vid US AI Safety Institute. Andrew Critch 85 % Grundare av Center for Applied Rationality. Destiny 5 % Amerikansk streamare och politisk kommentator. Transkription, 0:59:37–0:59:52. David Duvenaud 85 % Kanadensisk datavetare med inriktning på probabilistisk maskininlärning, generativ AI och AI-säkerhet. Innehavare av en AI-professur inom CIFAR sedan 2021 och en Schwartz Reisman-professur i teknik och samhälle sedan 2024. Lex Fridman 10 % Amerikansk datavetare och programledare för Lex Fridman Podcast. Demis Hassabis >0 % Medgrundare och vd för Google DeepMind och Isomorphic Labs samt Nobelpristagare i kemi 2024. Dan Hendrycks >80 %En ökning från cirka 20 procent två år tidigare. Chef för Center for AI Safety. Geoffrey Hinton 10–20 % (samlad bedömning) >50 % (egen uppfattning) ”AI:s gudfader” och Nobelpristagare i fysik 2024. Holden Karnofsky 50 % Verkställande direktör för Open Philanthropy. Lina Khan Cirka 15 % Tidigare ordförande för Federal Trade Commission. Daniel Kokotajlo 70–80 % AI-forskare och grundare av AI Futures Project, tidigare verksam vid Open AI. David Krueger 75 % Amerikansk professor i maskininlärning och förespråkare för att minska riskerna med artificiell intelligens. Vid 8:10. Connor Leahy 90 %+ Tysk-amerikansk AI-forskare och medgrundare av EleutherAI. Yann LeCun <0,01 %Mindre sannolikt än att en asteroid utplånar mänskligheten. Tidigare chefsforskare inom AI vid Meta. Shane Legg Cirka 5–50 % Medgrundare och chefsforskare inom AGI vid Google DeepMind. Jan Leike 10–90 % Forskare inom AI-alignment vid Anthropic, tidigare verksam vid DeepMind och Open AI. William MacAskill Cirka 3 % Skotsk filosof och författare till What We Owe the Future. Not 2.22. Benjamin Mann 0–10 % Medgrundare av Anthropic. Emad Mostaque 50 % Medgrundare av Stability AI. Zvi Mowshowitz 70 % Skribent om artificiell intelligens, styrelseledamot i Center for Applied Rationality och tidigare tävlingsspelare i Magic: The Gathering. Elon Musk Cirka 10–30 % Affärsman och vd för X, Tesla och SpaceX. Casey Newton 5 % Amerikansk teknikjournalist. Toby Ord 10 % Australisk filosof och författare till The Precipice. Kevin Roose 5 % Amerikansk teknikjournalist. Emmett Shear 5–50 % Medgrundare av Twitch och tidigare tillförordnad vd för Open AI. Nate Silver 5–10 % Statistiker och grundare av FiveThirtyEight. Max Tegmark >90 % Svensk-amerikansk fysiker, forskare inom maskininlärning och författare, främst känd för hypotesen om det matematiska universum och som medgrundare av Future of Life Institute. Roman Yampolskiy 99,9 %–99,999999 %Inom de kommande 100 åren. Lettisk datavetare, tidigare forskningsrådgivare vid Machine Intelligence Research Institute och forskningsstipendiat inom AI-säkerhet vid Foresight Institute. Eliezer Yudkowsky >95 % Grundare av Machine Intelligence Research Institute och författare till If Anyone Builds It, Everyone Dies.

Anmärkningar

Källor

Kategori:Artificiell intelligens