Kommer AI förinta oss alla?

Här på Simovits jobbar vi med informationssäkerhet, vilket typiskt innefattar det att säkerställa dess konfidentialitet, riktighet och tillgänglighet. I dagens blogg tänker jag vända lite på denna tolkning av termen informationssäkerhet. Bloggen kommer inte att handla om hur vi håller vår data säker, utan om hur vi håller oss säkra från vår data. Temat är artificiell intelligens och de risker och domedagsscenarion som ofta målas upp kopplat till dess användande.   

Artificiell intelligens (AI) är ett område som har utvecklas kraftigt under de senaste tio åren. Man ser så gott som dagligen nya framsteg och nya användningsområden för AI. Denna explosionsartade och oreglerade utveckling hävdas medföra stora risker för vårt samhälle. Denna inställning är delad av många framstående namn och organisationer inom teknikbranschen, som t.ex. Sundar Pichai (CEO, google) och Elon Musk (CEO, Tesla och SpaceX), vilka båda uttryckt önskemål om reglering för AI och dess applikationer, som till exempel inom vapenutveckling. Även EU-kommissionen går i liknande tankar kring reglering av AI, se t.ex. nyligen publicerat blogginlägg här på Simovits blogg [1]. Riskerna med AI och behovet av reglering är dock en omtvistat fråga och många inom teknikindustrin anser att riskerna är överdrivna och att de potentiella fördelarna med AI kraftigt överväger riskerna. 

I denna blogg tänkte jag försöka ge en överblick över de risker som anses finnas med AI, med målet att ge läsaren en ökad förståelse kring problematiken.

Problem med maskininlärning 

En av de fundamentala svårigheterna med AI system, och varför väldigt avancerade system ofta anses medföra stora risker är kopplat till hur dessa systems målbild definieras; vilka parametrar ska systemet ta hänsyn till (och hur), vid inlärning. Vad händer när AI-utvecklare gör små tankefel i sina definitioner av målbild?

Väldigt kraftfulla AI-system med mål som inte är helt likriktade med mänskligheten är ett koncept som utforskats i otaliga science fiction historier, ofta med förödande konsekvenser. Ogenomtänkta mål ges till starka AI-system och situationen urartar (t.ex. skeppsdatorn HAL 9000 från 2001 a space odyssey som vidtar drastiska åtgärder för att slutföra uppdraget). Ett naivt definierat mål för en stark AI kan sakna aspekter och nyanser som begränsar möjliga/tillåtna tillvägagångssätt, vilka för oss människor skulle tas som underförstådda. Ett grovt förenklat exempel är en superintelligent AI får uppgiften att stärka trafiksäkerhet, vilket en utvecklare definierat som “minimera antalet trafikolyckor som resulterar i mänskliga dödsfall”. AI:n inser snabbt att om det inte finns några människor i trafiken blir det inga dödsfall, varpå den arbetar för att stänga ned all trafik. Ett olyckligt och oförutsett utfall av ett naivt definierat mål för AI:n. Att detta figurerar så pass ofta i skönlitteratur är kanske en av anledningarna till varför riskerna kopplade till AI är svåra att på allvar?

Detta låter förstås ganska långsökt. Och ja, det ligger troligtvis långt fram i tiden. De underliggande problem är dock något som realiseras konstant redan idag. Dagens AI-system lider ofta av liknande oavsiktliga effekter av “naivt” definierade mål. Det finns otaliga exempel på detta [2]. Ett exempel tydligt illustrerar detta är ett AI-projekt med målet att steka pannkakor. Ett första delmål för detta var att lära AI:n att balansera pannkakor i en stekpanna. Utvecklarens försök att definiera detta som ett mål där inkrementella förbättringar är möjliga var att ge ökad belöning ju längre tid det tar innan pannkakan faller till marken. Tanken var förstås att detta skulle få AI:n att lära sig att hålla pannkakan i stekpannan längre och längre tider.

Resultatet: AI:s lärde sig att om den kasta pannkakan högre och högre så tar det längre tid innan pannkakan nådde golvet. 

En AI:s tolkning av målet balansera en pannkaka i en stekpanna.

Med tanke på det höga antalet liknande “feltolkningar” av målbild kan man dra slutsatsen att detta inte handlar om tokiga små misstag som en utvecklare gjort. Detta kan anses vara ett fundamentalt beteende som vi kan förvänta oss för all maskininlärning. Det finns ingen garanti att morgondagens AI-utvecklare kommer att vara felfria i sina definitioner av mål. Betänk dessutom att även de mest genomtänkta mål kan lida av imperfekt implementering. Nästan inga system (AI eller inte) som skapas idag är buggfria och/eller fungerar precis som dess skapare förutspått vid första release. En avancerad AI förutspås dessutom ha en självförbättrande egenskap, eftersom det är viktigt för ett system som kan lära sig, vilket innebär att AI:n själv kan introducera nya buggar och nya oförutsedda egenskaper som inte existerade i dess originalutförande. Det är därmed inte svårt att föreställa sig scenarion där vi människor tappar kontrollen över en stark AI, vilket skulle kunna ha förödande konsekvenser. 

Riskanalys; konsekvens och sannolikhet

Trots detta anser många att riskerna är överdrivna. Att det är en extremt låg sannolikhet att vi når AI-system som är så pass avancerade, kraftfulla och intelligenta att de utgör en verklig fara för vårt samhälle inom en överskådlig framtid. Låt mig besvara detta påstående genom att stödja mig på ett område som vi jobbar mycket mer här på Simovits; riskanalys.

Riskanalys handlar om att identifiera och värdera risker. Identifikation är gjord redan; det handlar om att avancerade AI-system med dåligt definierade mål som ger oönskade och förödande effekter för vårt samhälle. Den vanligaste metoden för värdering av risker är sedan att man undersöker två dimensioner:

• Sannolikhet, att risken realiseras.
• Konsekvens, om risker realiseras.

Ansätt ett värde till varje dimension och multiplicera för att få en värdering av risken. Låg sannolikhet och låg konsekvens innebär en lågt värderad risk. Hög sannolikhet och stor konsekvens innebär en högt värderad risk. Detta används sedan för att kunna värdera risker mot varandra och prioritera de mer kritiska riskerna. 

I detta fall handlar det om något som (enligt många) har en väldigt låg sannolikhet att hända. Samtidigt är konsekvenserna väldigt höga. De mest extrema scenarierna liknar domedagsprofetior tagna ut science fiction. Därmed bör detta inte ses som en risk som man kan ignorera. Trots låg sannolikhet att det inträffar kan effekterna bli katastrofala. Det kan liknas vid astroidnedslag. En liten sannolikhet att det inträffar, men potentiellt förödande konsekvenser. Därför genomförs idag projekt där himlen genomsöks med jämna mellanrum på jakt efter himlakroppar på kollisionskurs med jorden. På samma sätt behöver vi vidta åtgärder för att minska riskerna med avancerade AI-system. Som till exempel reglering av AI-teknik för att begränsa vilka medel och befogenheter AI-system tillåts, eller genom att bedriva forskning på AI-system för att förstå och utveckla säkra metoder för definition av mål.

[1] https://simovits.com/diskussion-angaende-europeiska-kommissionens-white-paper-avseende-ai/

[2]: https://vkrakovna.wordpress.com/ai-safety-resources/, med lista https://docs.google.com/spreadsheets/d/e/2PACX-1vRPiprOaC3HsCf5Tuum8bRfzYUiKLRqJmbOoC-32JorNdfyTiRRsR7Ea5eWtvsWzuxo8bjOxCG84dAg/pubhtml