Dries Depoorter, un artiste flamand, a eut l’idée de s’amuser avec les retransmissions officielles en live streams, (disponibles sur YouTube) des scéances du parlement de Flandres, en capturant avec un logiciel ce flux vidéo et en le soumettant à une intelligence artificielle (IA) qui permet d’identifier et de « marquer » des élu·e·s qui utilisent leur téléphone mobile pendant les séances parlementaires.
Lorsqu’une diffusion en direct commence, le logiciel recherche les téléphones et tente d’identifier un politicien distrait. Cela se fait à l’aide de l’IA et de la reconnaissance faciale. Les extraits vidéos de l’homme ou la femme politique distrait qui ont ainsi été « tagués » sont ensuite postées sur un compte Twitter et un autre sur Instagram.
Dries Depoorter
L’opération est rendue possible par un logiciel, crée pour l’occasion à partir de ressources open source existantes, et baptisé The Flemish Scrollers :
Le logiciel est écrit en Python, il utilise l’apprentissage automatique pour détecter les téléphones et la reconnaissance faciale pour identifier le politicien. Le logiciel a commencé à fonctionner le 5 juillet 2021. S’il n’y a pas de réunion en direct, le logiciel vérifie les anciennes vidéos téléchargées sur la chaîne YouTube.
Dries Depoorter
The Flemish Scrollers n’est pas lui-même open source, mais son auteur indique qu’au niveau des ressources de programmation il utilise la librairie Keras pour la détection des objets et le reconnaissance faciale, FFmpeg pour le traitement en ligne de commande des images vidéos, et l’API publique de Twitter pour la publication.
Il faut reconnaître que le résultat n’a rien de véritablement spectaculaire en soit. Pour autant, la démonstration est probante sur le fait qu’il est extrêmement aisé de récupérer des images — vidéos ou photos — en ligne 1 et de les soumettre à un dispositif d’intelligence artificiel très simple, mais capable d’apprentissage (machine learning) et d’analyse à des fins de biométrie.
Une simple recherche sur le Web concernant la librairie Keras rapporte ainsi de nombreux tutoriels sur sa mise en œuvre, combinée à d’autres briques logicielles, comme par exemple celui de Jason Brownlee, chercheur en IA amateur, qui explique comment utiliser le machine learning pour repérer des kangourous sur des images.
Dries Depoorter est un artiste belge qui crée des installations interactives, des applications et des jeux, et aborde dans son travail des thèmes tels que la vie privée, l’intelligence artificielle, la surveillance et les médias sociaux. C’est un artiste reconnu exposé partout dans le monde, de Bâle à Hong Kong, de San Francisco à Athènes 2.
Ces dernières années Depoorter a mené d’autres expériences artistiques du même type, par exemple The Lookout (2021 aussi), une installation qui consistait à prendre le contrôle 1500 de caméras de vidéo-surveillance — non protégées par un mot de passe, ou ayant un mot de passe trop courant —, et à les piloter à l’aide d’une simple manette de console Playstation.
Comme le fait remarquer le journaliste Olivier Tesquet sur Twitter : « Si c’est destiné à convaincre la classe politique des dangers de l’analyse automatique des images, c’est très efficace ».
- Rappelons que rien qu’en surfant sur le Web Paolo Cirio avait récupéré 4000 portraits de policiers pour sont installation « Capture ».|↩
- Depoorter travaille par ailleurs en tant que prestataire indépendant comme « fournisseur de concepts » axés sur le numérique au-près de grandes entreprises comme Amazon, Toyota, Nivea, Carlsberg ou Mercedes-Benz.|↩