L’IA au service de l’identification des visages sur les photos de la Shoah

EN 2016, Devant les innombrables photos de survivants et victimes de la Shoah exposés au musée POLIN de l’histoire des Juifs polonais de Varsovie, Daniel Patt, originaire de New York, a été envahi par le sentiment que ces visages pouvaient très bien, sans qu’il le sache, être ceux de ses propres parents.

Pour Patt, ingénieur logiciel de 40 ans aujourd’hui employé chez Google, ce mystère a eu l’effet d’un déclic et lui a donné l’envie de développer un outil original. C’est ainsi qu’il a créé et développé From Numbers to Names (N2N), [Des nombres aux noms], une plateforme de reconnaissance faciale basée sur l’intelligence artificielle, capable de numériser des photos de l’Europe d’avant-guerre et de la Shoah, et de les relier à des personnes vivant aujourd’hui.

Patt est personnellement impliqué dans ce projet : trois de ses quatre grands-parents sont en effet des survivants de la Shoah en Pologne. En outre, il a voulu aider sa grand-mère à retrouver des photos des membres de sa famille, assassinés par les nazis.

Recevez gratuitement notre édition quotidienne par mail pour ne rien manquer du meilleur de l’info Inscription gratuite !

Sa grand-mère n’avait que 9 ans lorsque la guerre a éclaté, ce qui l’a amenée à quitter sa ville natale de Zamosc, en direction de l’est, avec son père et ses frères et sœurs. Sa mère, l’arrière-grand-mère de Patt, n’est elle pas partie et a été tuée par balle pendant l’invasion nazie. Le grand-oncle de Patt – le frère de sa grand-mère – s’est fait tuer lorsqu’il est retourné à Zamosc pour la sauver.

Le reste de la famille a survécu et émigré à New York après-guerre.

Pour l’heure, le logiciel de N2N – gratuit et simple à utiliser – ne donne que les 10 meilleures correspondances susceptibles de se trouver dans la base de données. Bien qu’il ne soit pas encore parfait, le projet à but non lucratif connaît d’ores et déjà un grand succès: le logiciel a été utilisé pour rechercher des centaines de milliers de photos afin d’identifier les visages du United States Holocaust Memorial Museum (USHMM) ainsi que des survivants et descendants de survivants…et même quelques célébrités.

Patt, qui travaille sur le projet sur son temps libre et ses propres ressources, a aujourd’hui l’appui d’une équipe florissante d’ingénieurs, scientifiques des données et chercheurs, qui permettent d’accroitre sans cesse la portée et la précision du logiciel.

En plus des photos et vidéos actuellement disponibles sur la plateforme, Patt travaille à l’intégration de 700 000 photos supplémentaires, issues des époques immédiatement antérieures à la Shoah ainsi qu’à la Shoah elle-même.

Le Times of Israel a interviewé Patt par email le 26 mai, à l’occasion de Yom HaShoah, journée durant laquelle sont mises en avant les réalisations des survivants de la Shoah qui ont reconstruit leur vie et connu le succès, ultime victoire contre le terrible projet hitlérien d’éradication du peuple juif.

Les propos qui suivent ont été légèrement retravaillés en vue de leur publication.

Daniel Patt, ingénieur logiciel chez Google, a développé From Numbers to Names, plateforme qui analyse les photos de la Shoah pour aider à trouver des correspondances. (Crédit : Courtoisie)

Le Times of Israel : D’où vous est venu l’inspiration pour le projet From Numbers to Names, et quel est votre but ?

Daniel Patt : J’ai commencé ce projet après une visite au musée POLIN, sur l’histoire des Juifs polonais à Varsovie, en Pologne, en 2016. Je n’arrêtais pas de penser que, sans le savoir, j’étais peut-être passé devant la photo d’un membre de ma famille. Je suis le petit-fils de survivants de la Shoah, tous originaires de Pologne.

Les murs du musée regorgent de photos de survivants et de victimes, mais finalement il y a très peu de noms pour les illustrer.

Une de mes grands-mères est aujourd’hui âgée de 91 ans. J’aimerais l’aider à trouver des photos de sa famille proche, assassinée par les nazis. J’ai pensé que d’autres descendants de la Shoah pourraient vouloir faire de même avec leurs grands-parents vieillissants. En tant qu’ingénieur logiciel, je me suis dit que je pourrais créer quelque chose pour donner un coup de pouce à ces « recherches familiales ». C’est cela qui m’a donné envie de créer « From Numbers to Names ».

À l’avenir, nous aimerions que N2N serve aussi à l’enseignement de la Shoah, en donnant aux élèves la possibilité de contribuer directement au dossier historique. Les élèves peuvent utiliser le logiciel pour aider identifier les visages et les artefacts dans les archives photo et vidéo et, qui sait, peut-être découvrir de nouveaux liens entre des descendants vivants de la Shoah et leurs propres ancêtres.

Pouvez-vous nous parler des succès la plateforme jusqu’à présent?

Nous avons contacté Geddy Lee, de Rush, avec une photo que nous pensions être de sa mère. Il a pu confirmer qu’il s’agissait bien d’une photo d’elle au camp de personnes déplacées de Bergen-Belsen.

Geddy a ensuite pu découvrir des photos de sa grand-mère, de ses oncles, d’une tante et d’autres membres de sa famille élargie en parcourant la collection Yad Vashem d’où provenait la photo initiale.

Juifs hongrois sur la Judenrampe (rampe juive) après le débarquement des trains de transport à Auschwitz-Birkenau, en mai 1944 (Crédit : The Auschwitz Album)

Au-delà de notre travail d’identification proactif – dont certains résultats ont été publiés sur le site Web de l’USHMM – nous nous sommes également intéressés à d’autres identifications effectuées par divers canaux en ligne et par le biais d’organisations telles que 3GNY.

Nous avons ainsi analysé près d’un demi-million de photos et 2 millions de visages. En ce moment, nous passons manuellement en revue les identifications.

Le chanteur Geddy Lee avec sa mère Mary Weinrib, une survivante d’Auschwitz, sur une photo non datée. (Crédit : Photo Instagram)

Pouvez-vous expliquer aux utilisateurs qui viendraient sur le site comment tout cela fonctionne? De quoi a-t-on besoin pour l’utiliser?

Sur le site, on peut cliquer sur « sélectionner une image ». Ensuite, on sélectionne un fichier depuis un ordinateur ou un téléphone, contenant la photo recadrée d’un visage unique. Ensuite, on clique sur le bouton « rechercher », qui renverra 10 photos contenant les visages les plus ressemblants à celui fourni par l’utilisateur. Le logiciel de recherche fonctionne bien mieux lorsque les photos datent à peu près de la même période (par exemple, avant les années 1960).

Nous ne portons aucun jugement sur l’identification et laissons cet aspect de la recherche aux utilisateurs du site. Nous nous limitons à donner des résultats, assortis de scores de similitude, et laissons les individus décider si les résultats permettent une identification.

Nous ne sommes pas tous ingénieurs logiciels, mais pouvez-vous nous en dire un peu plus sur le fonctionnement du logiciel ?

Le logiciel tire parti de l’IA [intelligence artificielle] pour aider les descendants de la Shoah à découvrir des photos de leurs proches et donner un nom aux millions de visages non identifiés dans les archives photo et vidéo de la Shoah.

Nous cherchons de manière proactive à identifier les visages à l’aide de l’IA et fournissons également aux personnes un moyen de mener leurs propres recherches via le site Web numberstonames.org.

Avez-vous des partenariats avec des musées de la Shoah ou d’autres organisations? Comment faites-vous pour développer votre base de données?

Nous sommes en contact informel avec l’USHMM. Jusqu’à présent, nous leur avons communiqué un certain nombre d’identifications, qui ont depuis été confirmées et publiées sur le site Web de l’USHMM. Nous aimerions établir des partenariats avec des musées, écoles, instituts de recherche et autres organisations qui partagent des objectifs communs en matière d’éducation à la Shoah, de sensibilisation, etc.

Pour ce qui est de l’alimentation et de l’enrichissement de la base de données, nous avons commencé à analyser les vidéos des archives cinématographiques et vidéo de Steven Spielberg. Nous sommes en train de créer un outil pour les étudiants accrédités et les chercheurs, permettant d’intégrer des annotations et des identifications directement sur la plate-forme.

Extrait de “L’album d’Auschwitz” – Des Juifs attendent dans le bosquet adjacent aux chambres à gaz (Crédit : Yad Vashem)

Vous n’utilisez que vos propres ressources pour ce projet – les finances doivent être un obstacle.

Le coût de la mise à disposition de résultats rapides augmente à mesure que nous analysons davantage de photos, et dorénavant, de films d’époque.

Nous sommes sur le point de publier une expérience de « recherche hors ligne » offrant aux utilisateurs la possibilité d’obtenir les résultats de leur recherche en une journée, au lieu de quelques secondes, afin de réduire les coûts. Nous avons le parrainage fiscal de « A Foundation of Philanthropic Funds » pour nous aider à rentrer dans nos frais.

Au-delà des moyens financiers, quels sont les plus grands défis auxquels N2N est confronté?

Notre temps est limité : nous avons développé le projet les soirs et les week-ends durant de nombreux mois. Il y a une réelle urgence à mener à bien ce projet, car les derniers survivants disparaissent les uns après les autres, alors que beaucoup de connexions pourraient encore être faites. Nous espérons que N2N contribuera à établir ces liens de leur vivant.