La mise en place généralisée de dispositifs de reconnaissance et de traitement des données personnelles par les machines, en particulier ceux qui font appel aux technologies visuelles et à l’analyse d’images, fait l’objet de critiques de plus en plus nombreuses. En particulier pour leur utilisation à des fins de biométrie, instrument de fichage généralisé des populations. A la base de tout cela : Intelligence artificielle, deep learning, algorithmes, réseaux de neurones…
Avec l’application Web Adversarial.io, Francis Hunger et Flupke ont développé (2020) un logiciel qui tente de mettre en œuvre une critique de ces dispositifs biométriques au niveau « technique », en expérimentant un outil capable en quelque sorte d’induire en erreur l’analyse d’images par Intelligence artificielle.
Adversarial.io est une application web facile à utiliser qui permet de modifier des images afin de les rendre illisibles pour les machines. En introduisant des perturbations, l’application cherche à remettre en cause et à subvertir la reconnaissance automatique des images.
En d’autres termes, il s’agit de modifier les données numériques d’une image (les pixels), afin de les rendre impossible à déchiffrer par les machines, tout en laissant celle-ci visuellement « intacte », ou du moins avec des modifications quasiment impossibles à distinguer par rapport à l’original pour celui ou celle qui la regarde.
L’application accomplit cette tâche en appliquant un modèle de « bruit » aléatoire, que l’œil humain est à même de compenser, mais qui induit une classe de description différente pour le système de Machine Learning. Le propos étant en quelque sorte de produire un « faux positif » (une erreur d’interprétation) au niveau du processus d’analyse de l’image par l’IA.
![L’image originale](https://rebetiko.cc/wp-content/uploads/lemurien-originale.jpg)
![Le bruit aléatoire généré par Adversial.io](https://rebetiko.cc/wp-content/uploads/lemurien-noise.jpg)
![L’image générée par adversarial](https://rebetiko.cc/wp-content/uploads/lemurien-adversarial.jpg)
Pour chaque image téléchargée, un « réseau neuronal » d’intelligence artificielle en calcule la description (par exemple, « chat tigré »). Ensuite, un algorithme adverse calcule un modèle de bruit, qui déplace la classe de description vers la suivante (par exemple, « lynx »).
Ce bruit parasite est une altération légère qui déplace la perception de la machine, au-delà d’un certain seuil, vers une description différente de l’image. Alors que la perception artificielle est induite en erreur, l’œil humain est lui capable de compenser les effets du bruit introduit.
Note – L’application a été développée avec Python, le framework Flask et Pytorch. Le bruit est ajouté aux images originales est basé sur la méthode Fast Gradient Sign (Goodfellow, Shlens, Szegedy 2014). L’interface web est propulsée par WordPress. Le code source n’est pas disponible.
Au-delà de la démonstration technique, avec cette expérimentation l’objectif déclarée du duo est bien de « combattre la reconnaissance d’images de masse » : une attaque contre la nouvelle « machine normative » qui n’est pas un geste impromptu, mais bien un programme méthodologique.
1.) Permettre à chacun de tester ses propres images par rapport au modèle de reconnaissance des types Inception V3.
2.) Crée une solution évolutive et facile à utiliser, qui démontre comment la reconnaissance des formes par l’IA échoue et comment des méthodes furtives peuvent être déployées.
3.) Éduquer.
Il y a quelques limites à Adversarial.io, comme le temps de calcul qui s’avère un peu long, alors même que le poid des images soumises est assez limitée (1 Mb). Il est aussi précisé que cela fonctionne mieux avec des images au format 299 x 299 px et représentant un sujet « simple », comme un animal, une personne ou un objet précis.
La démonstration n’en est pas moins probante quant à la possibilité d’inventer des moyens accessibles et utilisables pour enrayer la « machine normative » de la captation d’images à des fins de biométrie généralisée. Un des points particulièrement intéressant réside dans le fait que les images produites gardent leur charge originelle d’information — ce qui n’est pas le cas, par exemple, dans des expérimentations comme celle de Shinji Toya où l’image est totalement altérée et recomposée par l’intervention de la peinture numérique.
Francis Hunger est un artiste, DJ, designer, programmeur et historien des médias de Leipzig. Ses œuvres réalisent un examen critique de l’historiographie de la technologie en tant que constellations de savoir et de pouvoir chargées d’idéologie. Il a enseigné à l’Académie des arts et du design de Burg Giebichenstein en Allemagne (2008 à 2017).
Références
- L’application Adversial
- Irmielin, le site personnel de Francis Hunger
- Database Cultures (recherches)