År 2022 lade EU-kommissionen ett förslag till en förordning som skulle erbjuda verktyg för att identifiera offer och lagföra förövare som gjorde sig skyldiga till sexuella övergrepp mot barn. Den nya förordningen, som också går under namnet Chat Control 2.0, är tänkt att bli permanent och efterträda den tillfälliga förordning som upphör i augusti 2024. Men en lång rad kritiska synpunkter har riktats mot kommissionens förslag. Ylva Johanssons idé om att använda AI-verktyg som en ”knarkhund” verkar snarare kunna bli en björntjänst för barn i behov av skydd.
Sexuella övergrepp mot barn på nätet är en växande brottskategori och det uppskattas att över 60 procent av övergreppsmaterial i världen lagras på servrar i EU. Det nya förslaget till förordning, som drivs av kommissionären för inrikes frågor Ylva Johansson, har dock fått massiv kritik från nationella och europeiska dataskyddsinstanser, jurister i ministerrådet, och Europaparlamentets utredningstjänst.
Centrala invändningar är risken för massövervakning av EU:s befolkning med hjälp av artificiell intelligens (AI) och en underminering av möjligheterna till så kallad end-to-end-krypterad kommunikation inom EU. Frågan är också i vilken grad förslaget faktiskt leder till ökat skydd av barn, och om det medför nya sårbarheter för barn i den digitala miljön?
Förslaget innebär att alla leverantörer av kommunikations- och värdtjänster, till exempel molntjänster, är skyldiga att bedöma risken för att tjänsten används för sexuella övergrepp mot barn och att vidta åtgärder för att minimera denna risk. Den kontroversiella delen av förslaget är dock att leverantörer även kan bli skyldiga att söka igenom hela eller delar av sin tjänst efter sexuellt övergreppsmaterial och så kallad grooming när en vuxen tar kontakt med ett barn i ett sexuellt syfte.
Förslaget innebär även att användares privata kommunikation kan genomsökas utan konkret brottsmisstanke. Regeln gäller också krypterade appar som WhatsApp och Signal. Denna typ av spårning ska enligt förslaget initieras genom att en nationell myndighet utfärdar en så kallad spårningsorder. Givet omfattningen av data som ska genomsökas krävs AI-verktyg.
I nuläget finns det emellertid begränsningar i fråga om identifikation av övergreppsmaterial med hjälp av AI-verktyg och därmed effektiviteten i den föreslagna förordningen. Under ett seminarium som organiserades i oktober 2023 av den Europeiska datatillsynsmannen (EDPS) påpekade informationssäkerhetsforskare att existerande teknologi inte erbjuder någon magisk lösning för att hitta tidigare okänt övergreppsmaterial.
Forskarna understryk också att aktörer som utlovar en effektiv AI-lösning har ett starkt ekonomiskt intresse. Deras verktyg och data har inte kunnat granskas av oberoende forskare för att bedöma teknologins effektivitet.
Det har visat sig finnas flera problem med AI-identifiering av tidigare okänt material och metoden har genererat en stor mängd falska positiva och falska negativa resultat. Träffsäkerheten bedöms vara särskilt svag vid spårning av grooming.
Teknologierna skapar även möjligheter för illvilliga aktörer att manipulera systemet och kompromettera resultat för att kunna generera falska indikationer på barnpornografibrott. Givet brottets allvarlighetsgrad är det inte svårt att föreställa sig en framtid där den typen av desinformationskampanjer blir lockande att genomföra.
Effektivitet handlar också om rättsväsendets förmåga att ta hand om rapporterade fall. Det är osäkert om ökad rapportering kommer att leda till fler åtal, då polis och åklagare redan idag saknar resurser.
Den största kritiken mot EU-kommissionens förslag är emellertid att den i praktiken förutsätter en underminering av så kallad end-to-end-kryptering. Krypterade appar skyddar kommunikationen mellan parter och hindrar effektivt tredje part från insyn, men med kommissionens förslag riskerar de i värsta fall att bli kanaler som möjliggör övervakning av medborgares privatliv.
I intervjuer har kommissionär Ylva Johansson liknat processen med en ”knarkhund” som sniffar efter misstänkt material utan att krypteringen behöver brytas. Men, den ledande organisationen för Europas IT-säkerhetsexperter understryker tvärtom att förslaget förutsätter tillgång till krypterad kommunikation.
Mest pikant är kanske att knarkhundsmetaforen inte ens accepteras av ministerrådets egna medlemmar. I läckta dokumentet från pågående förhandlingar föreslås exempelvis att viss krypterad kommunikation ska undantas från scanning av konfidentialitets- och säkerhetsskäl.
En underminering av end-to-end-kryptering i jakten på sexuellt övergreppsmaterial introducerar också nya sårbarheter för barn. Ett grundläggande problem är att både AI-teknologi och mänskliga granskare har svårt att få insyn i kontexten inom vilken bilder och material delas. Detta gör exempelvis att tonåringar som utforskar sin sexualitet i den digitala miljön med jämnåriga, med ömsesidigt samtycke, riskerar att få sina kommunikationer flaggade som övergreppsmaterial. HBTQ-ungdomar som i vissa medlemsstater är särskilt utsatta för diskriminering riskerar också att bli än mer utsatta om deras sexuella kontakter på nätet felaktigt identifieras som potentiellt övergreppsmaterial och skickas vidare till lokala polismyndigheter för utredning.
Europeiska dataskyddstyrelsen, EDBP, och Europeiska datatillsynsmannen, EDPS, har varnat för att förslaget innebär allvarliga risker för grundläggande rättigheter, som rätten till integritet och dataskydd, och att förslaget som helhet inte möter kraven på proportionalitet och nödvändighet. Även FN:s barnrättskommitté, som har till uppgift att övervaka genomförandet av FN:s konvention om barnets rättigheter (barnkonventionen) ser ett behov av att begränsa statens rätt till övervakning då även barn har rätt till delaktighet, information och privatliv. Kommittén betonar att barns tillgång till digital teknik kan hjälpa dem att utöva alla sina medborgerliga, politiska, kulturella, ekonomiska och sociala rättigheter. Åtgärder som syftar till att spåra fall eller material som rör sexuella övergrepp mot barn i krypterad kommunikation måste således enligt kommittén vara begränsade enligt principerna om lagenlighet, nödvändighet och proportionalitet.
Trots massiv kritik har kommissionär Ylva Johansson hållit fast vid förslaget. Detta har lett till att omröstningen i ministerrådet skjutits upp flera gånger under 2023. I november 2023 klubbade Europaparlamentet ett motförslag som stöds av samtliga partigrupper.
I Europaparlamentets förslag slopas massövervakning som ett sätt att identifiera material. Istället ska misstanke om brott krävas för att en domstol ska kunna ge en spårningsorder. Parlamentet vill också att krypterade chattar undantas från spårning. Ministerrådet återupptar förhandlingarna på ett möte den 4-5 mars. Även om de skulle kunna nå en kompromiss kommer denna troligtvis att ligga långt från parlamentets förslag.
Kommissionen tycks ha insett att processen kommer att ta tid, och har föreslagit en förlängning av den tillfälliga förordningen. Om en kompromiss mellan ministerrådet och parlamentet tycks omöjlig kan kommissionen välja att dra tillbaka sitt förslag. Alternativet, som det ser ut idag, är svåra informella förhandlingar mellan parterna bakom stängda dörrar. Dessa trilogmöten kommer i så fall att ske efter Europaparlamentsvalet i år.
Rätten till privatliv och rätten till skydd står inte i motsättning till varandra, tvärtom. Utan tvivel behöver EU göra mer för att skydda barn mot sexuella övergrepp och hindra spridningen av övergreppsmaterial. Kommissionens förslag om massövervakning med hjälp av AI framstår dock som en björntjänst snarare än den knarkhund Ylva Johansson beskrivit.
Hedvig Ördén är doktor i statsvetenskap och arbetar vid Utrikespolitiska institutet och Forskningsinstitutet för psykologiskt försvar, Lunds Universitet.
Johanna von Bahr är doktorand i statsvetenskap vid Stockholms universitet, och även gästdoktorand och adjunkt vid Statsvetenskapliga institutionen vid Lunds universitet.