Simovits

Behöver ni en AI-policy?

AI har blivit ett självklart verktyg i många verksamheter, både integrerade i system, som exempelvis kundtjänstchattbotar, och som hjälpmedel som medarbetare använder i sitt dagliga arbete. Generativ AI har förmåga att skapa nytt innehåll, som till exempel text, bilder, kod eller ljud. Den vanligaste typen av generativ AI som används idag är stora språkmodeller, eller Large Language Models(LLM) som är specialiserade på att förstå och generera mänskligt språk. Detta blogginlägg kommer att handla om de unika risker som introduceras med LLM:er, och varför det kan vara nödvändigt att införa en policy för att säkerställa ansvarsfull användning av generativ AI inom organisationen. 

Vad kännetecknar tillförlitlig AI?

När verksamheter integrerar generativ AI i sina processer är det viktigt att använda tillförlitliga AI-modeller för att undvika felaktiga resultat, skadat förtroende hos kunder och undvika juridiska och etiska problem. Tillförlitlighet i detta sammanhang avser inte bara den tekniska funktionen. NIST (National Institute of Standars and Technology) har tagit fram ett ramverk som beskriver de viktigaste egenskaperna för tillförlitliga AI-system:

För att uppnå dessa egenskaper lyfter NIST fyra principer för att vägleda arbetet med AI-riskhantering:

  1. Styr: Skapa en kultur för riskstyrning för design, utveckling, implementering, utvärdering och förvärvning av AI-system. 
  2. Kartlägg: Skapa en kontext för att definiera risker med AI. Detta innebär att identifiera och förstå de olika riskerna med AI-användning i just er verksamhet.
  3. Mät: Analysera, utvärdera, jämför och övervaka AI-risker kontinuerligt.
  4. Hantera: Behandla AI-risker genom att implementera åtgärder för att minska eller eliminera riskerna och ha en plan för att hantera möjliga incidenter.

Läs mer om NIST AI-säkerhetsramverk här: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf

EU:s AI-förordning (AI Act) kravställer även ”AI-kunnighet” inom organisationer som utvecklar eller använder AI-system inom EU, inklusive system för generativ AI. Kravet innebär att träffade verksamheter måste säkerställa att deras personal har en tillräcklig förståelse för hur tekniken fungerar, risker som den medför och hur den kan påverka människor. 

LLM-specifika säkerhetsrisker

Att förstå säkerhetsrisker med generativ AI är avgörande oavsett om man tränar egna modeller, köper in färdiga system eller bara använder externa AI-verktyg. OWASP (Open Web Application Security) har identifierat de tio främsta säkerhetsriskerna med LLM:er som säkerhetsansvariga bör ha koll på. Vilka risker som är kritiska för verksamheten beror på vilka typer av AI-system som används och för vad. Jag kommer att gå igenom några som sticker ut här, vill du läsa mer om samtliga tio riskerna så kan du göra det på OWASPs hemsida: https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025/. 

Prompt Injection: Denna attack kan vara en risk vid exempelvis användning av LLM:s i kundtjänstsystem, chatbottar, eller liknande tjänster. Attacken går ut på att användaren manipulerar modellens beteende genom prompten. Användaren ger instruktioner, antingen direkt eller indirekt genom att dölja dem i exempelvis ett dokument eller en bild, till modellen genom prompten som får den att gå ifrån sina ursprungliga riktlinjer. Denna attack kan leda till att modellen ger obehöriga åtkomst till information eller beter sig som ett sätt som går emot företagets policy. Utvecklare kan bygga säkerhetsåtgärder i form av instruktioner och filtrering för att förebygga dessa typer av attacker, men dessa behöver uppdateras kontinuerligt.

Improper Output Handling: Om LLM:er är en komponent i en automatiserad process där dess output används i andra system i verksamheten bör den kontrolleras innan det skickas vidare till dem. Eftersom outputen kan innehålla fel, skadlig kod, eller känslig information, så kan det leda till säkerhetsbrister som XSS (Cross-Site Scripting) och CSRF (Cross-Site Request Forgery) om det automatiserade innehållet inte saneras innan det skickas vidare till andra komponenter. 

Misinformation: LLM:er kan generera felaktig information som verkar trovärdig, vilket kallas ”hallucinationer”. Detta kan leda till att felaktig information sprids och ageras på. Hallucinationer blir särskilt ett problem i kombination med överdriven tillit till AI-genererat innehåll där användaren inte verifierar informationen. Det finns en del tekniska åtgärder som kan användas för att motverka missinformation, men en effektiv åtgärd är att utbilda användare om begränsningar med AI-verktyg och kommunicera risker med överdriven tillit till dem.

Unbounded Consumption: Om en LLM-applikation tillåter en för stor mängd användarförfrågningar kan det leda till att systemet överbelastas och tjänsten blir otillgänglig för användare (Model Denial of Service-attack). Detta kan bland annat motverkas genom att antingen begränsa antalet förfrågningar som kan komma från en enskild källa eller längden på deras input. Det går även att designa systemet till att stänga av vissa funktioner under överbelastning, i stället för att krascha helt.

Min kollega Erik Aronson skrev nyligen ett eget blogginlägg om AI-säkerhet som är intressant fortsatt läsning om du inte redan har läst det:  https://simovits.com/vad-menar-vi-nar-vi-sager-ai-sakerhet/

Några nyckelstenar i en AI-policy

Många medarbetare använder generativ AI för att underlätta sitt arbete. På grund av säkerhetsriskerna med AI så finns det vissa arbetsplatser som helt förbjuder anställda att använda generativ AI. Om man däremot vill tillåta användning av AI-verktyg för att effektivisera vissa arbetsuppgifter bör en AI-policy införas som styr när, för vad, och hur generativ AI får och inte får användas, baserat på verksamheten och medarbetarnas behov. Risken med ett totalförbud i stället för att införa en AI-policy är att medarbetare kommer att använda generativ AI ändå, och utan utbildning eller vägledning använder det på ett sätt som är skadligt för verksamheten. Några bra grundstenar i en AI-policy som täcker några av de risker som vi har diskuterat oavsett vad man använder AI för är bland annat:

1. Vilken information som får delas med en AI-modell

Användningen av AI-tjänster öppnar upp risken att anställda delar känslig information eller företagsinformation till en extern modell som lagrar och analyserar informationen och kan använda den till exempelvis träning. En AI-policy bör därför försäkra att all generativ AI-användning är i linje med dataskyddlagen, sekretessavtal och annan reglering som kan finnas på verksamheten. Därför bör man klassa sin information och definiera vilken typ av information som får (och inte får) delas i AI-modeller för att säkerställa personlig integritet och att företaget behåller kontrollen över sin information.

2. Human-in-the-loop

Problematik som uppstår vid automatisering av arbetsuppgifter med hjälp av generativ AI är ansvarsfrågan, kvalitetssäkring och förtroende. Med den teknik som finns idag så behövs en ”human-in-the-loop”, alltså att en människa alltid är ansvarig för att granska och verifiera det genererade innehållet innan det används för någonting. Human-in-the-loop är väsentligt för frågan om ansvar eftersom det inte går att utkräva ansvar från ett datasystem. AI-modeller kan ”hallucinera” vilket påverkar deras tillförlitlighet. En människa behöver därför granska, ifrågasätta och kunna förklara den genererade informationen för att undvika att felaktig information används. Om AI-genererat innehåll används externt mot kunder bör man vara transparent med att det är AI-genererat innehåll. Enligt EU:s AI-förordning så ska användare informeras ifall de interagerar med ett AI-system och AI-genererat innehåll ska tydligt markeras så att användare kan skilja det från mänskligt genererat innehåll.

3. Godkända lösningar

Det finns många olika AI-verktyg, med olika nivåer av säkerhet. Därför bör en policy erbjuda en lista med specifika godkända lösningar som får användas för att vägleda medarbetare rätt och minska risken att de använder osäkra verktyg på egen hand. Risken med att medarbetare använder osäkra AI-verktyg är att intern eller känslig information kan komma att delas med ett externt system som lagrar, analyserar och tränar vidare på informationen. I sådana fall har organisationen tappat kontrollen över var informationen hamnar och hur den används. Listan med godkända lösningar bör vara baserad på en riskanalys kring AI-verktygens säkerhet, dataskydd och användarvillkor. Det är viktigt att ha i åtanke att i vissa länder utanför EU, exempelvis USA, så kan federala myndigheter kräva tillgång till företags data oavsett vad för avtal företaget har för avtal med sina kunder, vilket kan innebära brott mot GDPR.

Slutsats: Medvetenhet framför förbud

Genom detta blogginlägg så har jag lyft några risker med generativ AI, både som verktyg inom verksamheten och som verktyg som medarbetare använder i sitt dagliga arbete. Genom att presentera de risker som introduceras med generativ AI, så är det inte med målbilden att motivera ett totalförbud av verktygen, utan att skapa medvetenhet kring vilka diskussioner och beslut som behöver tas inom verksamheter för att säkerställa säker och ansvarsfull AI-användning. Besluten borde förmedlas genom en AI-policy och utbildning till medarbetare för att säkerställa att bl.a. GDPR och AI-förordningen efterlevs och skydda verksamheten, kunder, och medarbetare. 

Referenser

https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32024R1689

https://genai.owasp.org/resource/owasp-top-10-for-llm-applications-2025

https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf

Bloggbilden är AI-genererad

Publicerat 2025-09-26 Skrivet av Clara Gower