Männen trodde på vad de såg online: en webbplats fylld med explicita AI-genererade bilder av hennes ansikte på någon annans kropp, tillsammans med hennes riktiga hemadress. Webbplatsen hävdade att hennes hem var en bordell.

Sweet Anita, en av Twitchs mest igenkännbara streamers, förstod riskerna med att vara kvinna online och vidtog försiktighetsåtgärder. Hon dolde sitt riktiga namn, satte gränser och anlitade ett team. Inget av det stoppade någon från att göra en deepfake av henne.

Inget förberedde henne på vad som kom härnäst.

Sweet Anitas berättelse

En anonym man beställde AI-genererad pornografi av henne, byggde sedan en falsk webbplats som pekade ut henne som sexarbetare – och listade hennes hemadress. Hela upplägget var utformat för att locka män till hennes hem med den falska förväntningen att de kunde tvinga henne till sex. ”Efter att han gjorde det började jag få män som kom till mitt hus, särskilt när jag livestreamade och var hemifrån”, sa hon. ”Jag känner mig inte säker i mitt eget hem.”

Främlingar med duffelväskor försökte bryta sig in. Hon var rädd för att ta emot post från brevbäraren. Hon var tvungen att sluta svara i dörren och lämna huset obevakat. Hon har flyttat förut, men de fortsatte att hitta henne.

Och missbruket var inte begränsat till hennes ytterdörr. Hennes bortgångna mamma, stolt över sin dotters arbete, brukade kolla Anitas sociala medier och tvingades scrolla förbi explicita, AI-genererade bilder. Vänner och kollegor såg dem också. ”Jag kunde ta bort allt från YouTube, Twitch, alla mina sociala medier – och det skulle fortfarande finnas massor av bilder av mitt ansikte i videor som kunde användas som referens”, sa hon.

Deepfakes är den nya mobbningen

Deepfakes use AI to generate hyper-realistic photos and videos of people without their consent. They are often created for sexual abuse, harassment, or intimidation. Most of the victims are women and girls.

Enligt forskning av Girlguiding(nytt fönster) säger mer än en av fyra tonåringar att de har sett en explicit deepfake av någon de känner – en klasskamrat, en lärare, en vän eller till och med sig själva. CNN rapporterar(nytt fönster) att 40 % av eleverna och 29 % av lärarna sa att de var medvetna om en deepfake av någon kopplad till deras skola under det senaste året, och 15 % av eleverna sa att de hade sett explicita versioner. De flesta skolor har inte policyer för att hantera denna form av övergrepp.

Skadorna är allvarliga. Offer kan lida av ångest, depression och till och med PTSD. De kan dra sig undan socialt, förlora vänner eller undvika att söka jobb eller högskolor eftersom explicita förfalskningar kan dyka upp under en sökning. Vissa tvingas till och med spendera pengar på att försöka rensa bort innehåll från internet.

World Economic Forum noterar(nytt fönster) att även om deepfakes inte destabiliserade val som många fruktade, har de blivit ett verktyg för trakasserier och bedrägerier. Icke-samtyckesbaserad pornografi är den mest extrema formen, men angripare använder också klonade röster och falska videosamtal för att begå bedrägerier. År 2024 lurades en finansarbetare i Hongkong att betala 25 miljoner dollar efter att ha deltagit i ett Zoom-samtal där varje deltagare – inklusive finanschefen – var en deepfake(nytt fönster).

”För resten av mitt liv ser jag inte ett sätt jag någonsin personligen skulle kunna undvika detta”, sa Anita. ”Och jag tycker inte att jag borde vara ansvarig för det heller. Det är inte mitt problem, och det är inte mitt fel.”

Detta kan hända vem som helst

Det krävs bara en handfull bilder. En offentlig Instagram. Ett skolfoto. Ett delat album. När ett ansikte väl är online kan det kopieras, skrapas och missbrukas.

Enligt professor Carsten Maple från University of Warwicks Cyber Security Centre räcker så lite som 20 foton med dagens AI-verktyg för att skapa en realistisk profil av någon, eller till och med en 30 sekunders video, vilket utökar omfattningen av potentiella faror – ett faktum som 53 % av nyligen tillfrågade föräldrar inte kände till.

The New York Times rapporterade om ökningen av så kallade ”nudifier”-appar(nytt fönster) som kan ta bort kläder från foton med hjälp av AI. Dessa appar är billiga, enkla att använda och allmänt tillgängliga. Utredare uppskattar att industrin drar in cirka 36 miljoner dollar om året. Trots en ny amerikansk lag som gör det olagligt att publicera icke-samtyckesbaserade falska nakenbilder, förblir apparna i sig lagliga. ”Vilket barn som helst med tillgång till internet kan vara både ett offer eller en förövare”, sa Alexios Mantzarlis, vars team undersökte 85 sådana webbplatser, till The New York Times.

Privata konton är ingen garanti för säkerhet. Förövare är ofta personer offret känner. Även till synes harmlösa inlägg, såsom födelsedagskalas, kan avslöja detaljer som underblåser identitetsstöld, vilket drabbade uppskattningsvis 1,1 miljoner barn 2024.

”Människor som [gör deepfakes] glömmer ofta att det är obehagligt, att det är olämpligt – som, om deras kollegor och vänner visste, skulle de få sparken och bli utfrysta. De skulle förlora alla de känner, deras föräldrar skulle bli besvikna på dem, eller hur?” sa hon. ”Men när du är online och du gör detta material för varandra med ett gäng likasinnade obehagliga typer, då är det bara en hobby och ett tidsfördriv för dem. De får helt undvika och glömma och vara vilseledda om den påverkan det har på människors liv.”

Deepfake-risken sträcker sig långt bortom sociala medier

Idag kan den största risken komma från vad som delas på sociala medier. Men hur är det med alla foton du inte delar alls?

Google, Apple, Amazon, Meta och andra erbjuder alla molnlagring för dina foton, ibland kostnadsfritt. Men den bekvämligheten kommer fortfarande med en kostnad. Google har använt dina foton för att träna AI sedan åtminstone 2015, när de tvingades be om ursäkt för att ha klassificerat ett svart par som ”gorillor”.(nytt fönster) Sedan dess har alla stora lagringsleverantörer blivit mycket bättre på ansiktsigenkänning. Hur tror du att det hände? Fler foton, som ständigt matar AI:n.

De miljarder foton och videor som lagras hos Big Tech är en enorm skattkammare av material som en dag kan bli foder för att generera otroligt detaljerade och verklighetstrogna deepfakes.

Allt som krävs är en tyst ändring i användarvillkoren.

Skydda dina minnen som du skyddar dina lösenord

Du kan inte kontrollera vad andra gör med din bild. Men du kan kontrollera var dina bilder bor och vem som har åtkomst till dem. Proton Drive ger dig ett privat, krypterat sätt att lagra de foton och filer som betyder mest.

  • End-to-end-kryptering: Dina filer krypteras innan de någonsin lämnar din enhet. Till skillnad från Big Tech kan inte ens Proton se dem.
  • Privat som standard: Dina data säljs aldrig, delas aldrig eller används för att träna AI.
  • Säker delning: Lägg till lösenord, ställ in utgångsdatum eller återkalla åtkomst när som helst.
  • Automatisk säkerhetskopiering: Även om din telefon tappas bort eller blir stulen, förblir dina minnen säkra.

Med Proton Drive förblir dina data dina – alltid.