La pornographie IA non consensuelle fera de nous tous des victimes : la loi peut-elle suivre le rythme ?

Cet article a été copublié avec The 19th, une salle de rédaction à but non lucratif couvrant le genre, la politique et les politiques publiques. Inscrivez-vous à la newsletter de The 19th ici.

Plus de deux douzaines d'élèves de Westfield High School dans le New Jersey ont été horrifiés l'année dernière d'apprendre que des images dénudées d'eux circulaient parmi leurs camarades. Selon l'école, certains élèves avaient utilisé l'Intelligence Artificielle (IA) pour créer des images pornographiques d'autres élèves à partir de photos originales. Et ce ne sont pas les seules adolescentes victimisées par de fausses photos de nu : des élèves de l'État de Washington et du Canada ont également signalé être confrontés à des situations similaires alors que la capacité de modifier de manière réaliste des photos devient plus largement accessible via des sites web et des applications.

L'inquiétude croissante autour des deepfakes—images ou vidéos générées par l'IA—en général a été encore amplifiée en janvier, lorsqu'un deepfake impliquant la superstar Taylor Swift s'est rapidement propagé sur les médias sociaux.

Carrie Goldberg, une avocate qui représente des victimes de pornographie non consensuelle—communément appelée revenge porn—depuis plus d'une décennie, a déclaré qu'elle n'a commencé à entendre parler de victimes d'images générées par ordinateur que plus récemment.

« Mon cabinet voit des victimes de deepfakes depuis probablement environ cinq ans maintenant, et c'était principalement des célébrités », a déclaré Goldberg. « Maintenant, ce sont des enfants qui le font à d'autres enfants pour être méchants. C'est probablement vraiment sous-déclaré parce que les victimes peuvent ne pas savoir qu'il existe un recours juridique, et il n'est pas entièrement clair dans tous les cas s'il y en a un. »

Les organes directeurs tentent de rattraper leur retard. Au cours de l'année écoulée environ, 10 États ont adopté une législation pour criminaliser spécifiquement la création ou la diffusion de deepfakes. Ces États—dont la Californie, la Floride, la Géorgie, Hawaï, l'Illinois, le Minnesota, New York, le Dakota du Sud, le Texas et la Virginie—ont défini des sanctions allant des amendes à l'emprisonnement. L'Indiana est susceptible de bientôt rejoindre la liste croissante en élargissant sa loi actuelle sur la pornographie non consensuelle.

La représentante de l'Indiana Sharon Negele, républicaine, a rédigé l'extension proposée. La loi existante définit la « revenge porn » comme la divulgation d'une image intime, telle que toute image représentant des rapports sexuels, des organes génitaux découverts, des fesses ou le sein d'une femme, sans le consentement de la personne représentée dans l'image. Le projet de loi proposé par Negele a été adopté par les deux chambres et attend maintenant la signature du gouverneur.

Negele a déclaré avoir été motivée à mettre à jour le code criminel de l'Indiana lorsqu'elle a entendu l'histoire d'une enseignante de lycée qui a découvert que certains de ses élèves avaient diffusé des images deepfake d'elle. C'était « incroyablement destructeur » pour la vie personnelle de l'enseignante, et Negele a été surprise de constater que les auteurs ne pouvaient pas être poursuivis en vertu de la loi actuelle.

« Cela a commencé par ma compréhension de la technologie qui est maintenant disponible et la lecture d'incident après incident de visages de personnes attachés à un corps inventé qui semble incroyablement réel et réaliste », a déclaré Negele. « C'est tout simplement bouleversant. En tant que mère et grand-mère et en pensant à ce qui pourrait arriver à ma famille et à moi-même—c'est choquant. Nous devons prendre de l'avance sur ce genre de choses. »

Goldberg, dont le cabinet d'avocats est spécialisé dans les crimes sexuels, a déclaré qu'elle s'attend à ce que davantage d'États continuent d'élargir leur législation existante pour inclure un langage sur l'IA.

« Il y a dix ans, seulement trois États avaient des lois sur la revenge porn ou les abus sexuels basés sur l'image », a déclaré Goldberg. « Maintenant, 48 États ont interdit la revenge porn, et cela a vraiment créé une réduction considérable de la revenge porn—sans surprise—comme nous, les défenseurs, l'avions dit. Toute la montée des deepfakes a comblé les lacunes en étant une nouvelle façon d'humilier sexuellement quelqu'un. »

En 2023, plus de 143 000 nouvelles vidéos générées par l'IA ont été publiées en ligne, selon The Associated Press. C'est un bond énorme par rapport à 2019, lorsque les sites web ou applications de « nudification » étaient moins courants, et il y avait encore près de 15 000 de ces fausses vidéos en ligne, selon un rapport de Deeptrace Labs, une société de renseignement sur les menaces visuelles. Même à l'époque, ces vidéos—dont 96 % contenaient de la pornographie non consensuelle de femmes—avaient accumulé plus de 100 millions de vues.

Goldberg a déclaré que les décideurs politiques et le public semblent tous deux être plus motivés à interdire spécifiquement les images de nu générées par l'IA parce que pratiquement tout le monde peut être une victime. Il y a plus d'empathie.

« Avec la revenge porn, lors de la première vague de discussions, tout le monde blâmait la victime et la faisait passer pour une sorte de pervers pour avoir pris l'image ou stupide pour l'avoir partagée avec une autre personne », a déclaré Goldberg. « Avec les deepfakes, vous ne pouvez pas vraiment blâmer la victime parce que la seule chose qu'elle a faite était d'avoir un corps. »

Amanda Manyame, conseillère en droits numériques basée en Afrique du Sud pour Equality Now, une organisation internationale des droits de l'homme axée sur l'aide aux femmes et aux filles, a déclaré qu'il n'existe pratiquement aucune protection pour les victimes de deepfakes aux États-Unis. Manyame étudie les politiques et les lois du monde entier, analyse ce qui fonctionne et fournit des conseils juridiques sur les droits numériques, en particulier sur l'exploitation et les abus sexuels facilités par la technologie.

« La plus grande lacune est que les États-Unis n'ont pas de loi fédérale », a déclaré Manyame. « Le défi est que la question est régie État par État, et naturellement, il n'y a pas d'uniformité ou de coordination en ce qui concerne les protections. »

Il y a cependant actuellement une pression au Capitole : un groupe bipartisan de sénateurs a introduit en janvier la loi Disrupt Explicit Forged Images and Non-Consensual Edits Act of 2024—également connue sous le nom de DEFIANCE Act. La législation proposée vise à arrêter la prolifération de contenu sexuellement explicite non consensuel.

« Personne—ni les célébrités ni les Américains ordinaires—ne devrait jamais se retrouver dans de la pornographie générée par l'IA », a déclaré le sénateur républicain Josh Hawley, co-parrain du projet de loi, dans un communiqué. « Les personnes innocentes ont le droit de défendre leur réputation et de tenir les auteurs responsables devant les tribunaux. » La représentante Alexandria Ocasio-Cortez a introduit un projet de loi parallèle à la Chambre.

Selon un nouveau sondage de Data for Progress, 85 % des électeurs probables de tout le spectre politique ont déclaré soutenir la DEFIANCE Act proposée—avec 72 % des femmes fortement en faveur contre 62 % des hommes.

Mais les hommes plus jeunes sont plus susceptibles de s'opposer à la DEFIANCE Act, avec environ un homme sur cinq de moins de 45 ans (22 %) déclarant s'opposer fortement ou quelque peu à une législation permettant aux sujets de deepfakes explicites non consensuels de poursuivre le créateur.

Danielle Deiseroth, directrice exécutive de Data for Progress, a déclaré que cette question montrait l'un des « contrastes les plus marqués » entre les jeunes hommes et les jeunes femmes qu'elle ait vus depuis longtemps.

« Nous pouvons dire avec confiance que les femmes et les hommes de moins de 45 ans ont des opinions divergentes sur cette politique », a déclaré Deiseroth. « C'est une question qui touche de manière disproportionnée les femmes, en particulier les jeunes femmes, qui sont plus susceptibles d'être victimes de revenge porn. Et je pense que c'est vraiment la cause profonde ici. »

Goldberg a déclaré que la création de politiques pour criminaliser les mauvais acteurs est un bon début mais est finalement insuffisante. Une bonne prochaine étape, selon elle, serait d'intenter des poursuites judiciaires ciblant les distributeurs en ligne, comme l'App Store et Google Play, qui fournissent des produits principalement utilisés pour des activités criminelles. Les plateformes de médias sociaux et les applications de messagerie instantanée, où ces images explicites sont distribuées, devraient également être tenues responsables, a ajouté Goldberg.

Les fondateurs de #MyImageMyChoice, une organisation de base travaillant à aider les victimes d'abus d'images intimes, ont convenu que davantage devrait être fait par les entreprises privées impliquées dans la création et la distribution de ces images.

Les fondateurs—Sophie Compton, Reuben Hamlyn et Elizabeth Woodward—ont souligné que les moteurs de recherche comme Google génèrent la majeure partie du trafic web total vers les sites de pornographie deepfake, tandis que les sociétés de cartes de crédit traitent leurs paiements. Les fournisseurs de services Internet permettent aux gens d'y accéder, tandis que des services majeurs comme Amazon, Cloudflare et Microsoft's Github les hébergent. Et les sites de médias sociaux comme X permettent au contenu de circuler à grande échelle. Google a modifié sa politique en 2015 et a commencé à permettre aux victimes de soumettre une demande pour supprimer des contenus individuels des résultats de recherche et a depuis étendu la politique aux abus de deepfake. Cependant, l'entreprise ne déréférence pas systématiquement les sites de violence sexuelle basée sur l'image et d'abus de deepfake.

« Les entreprises technologiques ont le pouvoir de bloquer, de désindexer ou de refuser le service à ces sites—des sites dont l'existence entière est construite sur la violation du consentement et le profit du traumatisme », ont déclaré Compton, Hamlyn et Woodward dans une déclaration à The 19th. « Mais ils ont choisi de ne pas le faire. »

Goldberg a souligné la vitesse à laquelle les deepfakes de Taylor Swift se sont propagés. Une image partagée sur X, anciennement connu sous le nom de Twitter, a été vue 47 millions de fois avant que le compte qui l'a publiée ne soit suspendu. Les images ont continué à se propager malgré les efforts des entreprises de médias sociaux pour les supprimer.

« Les images violentes et misogynes de Taylor Swift, ensanglantée et nue lors d'un match de football des Kansas City Chiefs, sont emblématiques du problème », a déclaré Goldberg. « L'étendue de cette distribution, y compris sur des sites vraiment grand public, envoie un message à tout le monde qu'il est acceptable de créer ce contenu. Pour moi, c'était un moment vraiment crucial et assez effrayant. »

Étant donné la nature très médiatisée de la victime, l'incident a déclenché une indignation prononcée et généralisée de la part des fans de Swift et a attiré l'attention du public sur la question. Goldberg a déclaré avoir vérifié si l'un des distributeurs en ligne avait retiré des produits de leurs boutiques en ligne qui rendent plus facile et moins cher la création de deepfakes sexuellement explicites—et elle a été soulagée de constater qu'ils l'avaient fait.

Alors que les décideurs politiques et les tribunaux du pays continuent d'essayer de répondre à la technologie en développement rapide et de plus en plus accessible, Goldberg a déclaré qu'il est important que les législateurs continuent de s'en remettre aux experts et à ceux qui travaillent directement avec les victimes, tels que les avocats, les travailleurs sociaux et les défenseurs. Les législateurs qui réglementent des idées abstraites ou des technologies à progression rapide peuvent être une « recette pour le désastre » autrement, a-t-elle ajouté.

Manyame a également souligné l'importance de parler directement aux survivants lors de la prise de décisions politiques, mais a ajouté que les législateurs doivent également réfléchir de manière plus holistique au problème et ne pas trop s'enliser dans la technologie spécifique—au risque d'être toujours en retard. Par exemple, Manyame a déclaré que le grand public commence seulement maintenant à comprendre les risques posés par l'IA et les deepfakes—quelque chose sur lequel elle a aidé à rédiger un rapport en 2021. En regardant vers l'avenir, Manyame pense déjà au Métaverse—un espace de réalité virtuelle—où les utilisateurs commencent à faire face à des cas de viol, de harcèlement sexuel et d'abus.

« Beaucoup de lois autour des abus sexuels basés sur l'image sont un peu datées parce qu'elles parlent spécifiquement de revenge porn », a déclaré Manyame. « La revenge porn a historiquement été davantage un problème de violence domestique, en ce sens qu'il s'agit d'un partenaire intime partageant une image sexuellement exploitante de son ancien ou actuel partenaire. Ce n'est pas toujours le cas avec les deepfakes, donc ces lois pourraient ne pas fournir suffisamment de protections. »

De plus, Manyame a fait valoir que beaucoup de ces politiques ne parviennent pas à élargir la définition d'« image intime » pour tenir compte de divers contextes culturels ou religieux. Pour certaines femmes musulmanes, par exemple, il pourrait être tout aussi violant et humiliant de créer et de diffuser des images de leur tête découverte sans hijab.

En ce qui concerne les solutions, Manyame a souligné les actions qui peuvent être prises par les créateurs d'applications, les régulateurs de plateformes et les législateurs.

Au stade de la conception, davantage de mesures de sécurité peuvent être intégrées pour limiter les dommages. Par exemple, Manyame a déclaré qu'il existe certaines applications qui peuvent prendre des photos de femmes et retirer automatiquement leurs vêtements alors que cette même fonction ne fonctionne pas sur les photos d'hommes. Il existe des moyens dans le backend de ces applications pour rendre plus difficile le retrait des vêtements de n'importe qui, quel que soit son genre.

Une fois que les deepfakes néfastes sont déjà créés et publiés, cependant, Manyame a déclaré que les plateformes de médias sociaux et de messagerie devraient avoir de meilleurs mécanismes en place pour supprimer le contenu après que les victimes l'aient signalé. Plusieurs fois, les victimes individuelles sont ignorées. Manyame a déclaré avoir remarqué que ces grandes entreprises de médias sociaux sont plus susceptibles de supprimer ces deepfakes dans des pays, comme l'Australie, qui ont des régulateurs tiers pour plaider en faveur des victimes.

« Il doit y avoir des mécanismes de surveillance et d'application inclus dans toute solution », a déclaré Manyame. « L'une des choses que nous entendons de la part de nombreux survivants est qu'ils veulent simplement que leur image soit retirée. Il ne s'agit même pas de passer par un processus juridique. Ils veulent simplement que ce contenu disparaisse. »

Manyame a déclaré que ce n'est pas trop demander pour de nombreuses entreprises technologiques et régulateurs gouvernementaux car beaucoup répondent déjà rapidement pour supprimer les photos inappropriées impliquant des enfants. Il s'agit simplement d'étendre ce genre de protections aux femmes, a-t-elle ajouté.

« Ma préoccupation est qu'il y a eu une précipitation pour mettre en œuvre des lois et des politiques sur l'IA sans considérer certaines des causes profondes de ces dommages. C'est un problème en couches, et il y a de nombreuses autres couches qui doivent être abordées. »

Crédits

• Mariel Padilla pour The 19th

Illustration

• Rena Li

Édition

• Flora Peir pour The 19th

Également publié ici

Photo de Steve Johnson sur Unsplash