La start-up israélienne qui traque les "acteurs malveillants" sur la Toile

Ce n’était pas un échange habituel par chat sur internet. Le maire d’une ville du MidWest, aux États-Unis, était réellement sous la menace physique imminente d’extrémistes de droite et les autorités fédérales avaient dû être alertées. C’est l’appel téléphonique récent donné par les chercheurs d’une entreprise israélienne dans le cadre de leur travail de surveillance et de détection des contenus nuisibles et/ou illégaux sur internet – discours de haine, maltraitance faite aux enfants, réseaux de fraude et campagnes de désinformation – qui a permis de tirer la sonnette d’alarme.

Un appel parmi d’autres. La découverte d’un réseau de trafic d’enfants, dans un coin noir d’internet, a entraîné une autre alerte urgente, cette fois en direction des autorités en Israël. A Singapour, la police a été appelée à la rescousse quand les chercheurs ont analysé une menace crédible d’attaque contre une synagogue. Et aux États-Unis, où les fusillades en milieu scolaire sont une épidémie nationale, de telles menaces peuvent être endémiques.

Ces chercheurs travaillent pour ActiveFence, une entreprise israélienne qui a conçu une plateforme qui s’appuie sur l’intelligence artificielle pour trouver et prévenir les contenus et les activités malveillantes « à l’échelle du monde ».

La plateforme collecte des millions de sources de données sur tout internet, déclare Nitzan Tamari, responsable de la stratégie au sein de l’entreprise, notamment les contenus accessibles par tous à la surface de la Toile (sur l’Open web), mais aussi sur le Deep Web – des sites et des contenus cachés qui ne sont pas répertoriés sur les moteurs de recherche habituels – et sur le Dark Web, un réseau où les utilisateurs restent anonymes et protégés de la surveillance ou d’un éventuel suivi et où les activités, les contenus et le commerce illégaux prospèrent.

L’équipe d’ActiveFence. (Autorisation)

« Tout cela fait partie de nos services. Nous allons là où les acteurs malveillants discutent entre eux et s’organisent », dit Tamari au Times of Israel, cet été.

Les informations sont rassemblées dans la dite « base de données du diable » de l’entreprise, et elles sont soumises à un processus de vérification et d’analyse du risque de manière à ce que les clients puissent jouir d’un niveau optimal de pratiques de « fiabilité et de sécurité », ce qui leur permet de se protéger et de protéger leurs utilisateurs.

La chasse aux contenus malveillants

Firme fondée en 2018, ActiveFence s’est faite connaître l’été dernier lorsqu’elle a annoncé un investissement à hauteur de 100 millions de dollars avec des soutiens tels que la firme d’investissement Highland Europe, actuellement en plein essor, et la firme israélienne de capital-risque Grove Ventures. Ces financements l’aideront à renforcer ces outils et sa base de clientèle.

La compagnie emploie environ 240 personnes réparties dans une dizaine de bureaux et notamment à New York, à Ramat Gan, une ville aux abords de Tel Aviv et à Binyamina, une localité du centre de l’État juif. Ses équipes sont constituées de professionnels de la sécurité, de scientifiques spécialisés dans les données, d’experts en Recherche & Développement (R&D) et en cybersécurité et de chercheurs en OSINT (open-source intelligence ou renseignement source ouverte).

Un image d’illustration d’un pirate informatique de systèmes de paiements.(welcomia; iStock par Getty Images)

ActiveFence refuse de donner le nom de ses clients mais la firme ne travaille pas seulement avec les suspects habituels – les compagnies des réseaux sociaux qui ont des antécédents bien réels et problématiques de prise en charge des contenus malveillants tels que les discours de haine, le négationnisme, le cyber-harcèlement, la désinformation, les contenus extrémistes et pires. L’entreprise travaille aussi avec des agences gouvernementales, des firmes de streaming audio et vidéo, des sites et jeu et de vente en ligne pour tenter de déraciner ces « acteurs malveillants ».

Il y a un écosystème tout entier de compagnies et d’entités dont « vous n’imaginez même pas qu’elles doivent contrôler leur contenu mais qui le font pourtant », dit Tamari, citant en exemple la prolifération de marqueurs liés à la principale théorie du complot qui avait été avancée par le mouvement d’extrême-droite, QAnon, sur la plateforme de fitness Peleton, l’année dernière. Cette théorie affirmait que l’ancien président des États-Unis, Donald Trump, combattait dans le plus grand secret un groupe de puissants pédophiles démocrates de l’ombre (et qu’il reviendrait rapidement à la Maison Blanche malgré sa défaite aux élections présidentielles de 2020.)

Un grand nombre de ces communautés, explique Tamari, « fonctionnent avec des codes et utilisent un langage que seuls les autres membres sont en mesure de comprendre. Ce langage peut être tellement délirant qu’une personne ‘normale’ ne va pas comprendre ce qui a été dit ou qu’elle ne pourra pas suivre la conversation : Cela nécessite de l’expertise ».

Un manifestant portant un panneau « Q » (« QAnon ») attend d’entrer à un rassemblement de campagne du président Donald Trump à Wilkes-Barre, en Pennsylvanie. (Crédit : AP Photo/Matt Rourke)

Ces communautés sont « très, très organisées et elles savent comment contourner et manipuler les règles sur les différentes plateformes », et leurs membres sont poussés à entrer sur ces plateformes « pour trouver de nouvelles recrues », continue-t-elle.

Au cours des deux dernières années, QAnon et d’autres contenus d’extrême-droite se sont propagés « partout » – comme cela a été aussi le cas de la désinformation, des accusations de mensonge liées au coronavirus et de la désinformation qui a circulé pendant les élections présidentielles américaines, note Tamari. « Mais tout change très rapidement. Il y a beaucoup de contenus qui sont aussi liés au terrorisme – des sermons aux décapitations. Et il y a des violences endémiques sur mineurs qui vont des images aux trafics en passant par la glorification des troubles alimentaires, le harcèlement, etc… », poursuit-elle.

Les systèmes existants qui s’appuient sur la classification des contenus, sur les signalements faits par les usagers et la modération sont souvent défaillants, comme cela a été souligné dans des reportages d’investigation qui ont plongé dans les profondeurs des opérations de modération sur Facebook.

Un iPhone affiche l’application Facebook, le 11 août 2019. (AP Photo/Jenny Kane)

Ces pratiques peuvent placer les entreprises et les organisations dans une position réactive. « Pour notre part, nous adoptons une approche plus proactive face à ce type de contenus. Et nous utilisons ces informations pour tenter de les devancer », indique Tamari.

La technologie employée permet aux entreprises « de passer à l’acte avant qu’un contenu nuisible puisse devenir viral et avant que ces firmes ne se retrouvent en difficulté ». Elle est exploitable en différentes langues, en différents dialectes et dans différentes régions, et elle prend en compte les nuances culturelles et le contexte géopolitique – « ce qui nécessite de l’expertise sur le sujet », dit la compagnie israélienne. L’une des plus fortes critiques à l’égard de Facebook – une fois encore – est « la focalisation sur les contenus en anglais, avec de graves défaillances dans la politique de l’entreprise et dans les opérations de modération visant les incitations et autres contenus nuisibles dans les autres langues ».

La compagnie ne contrôle pas les communications cryptées, comme WhatsApp ou Telegram.

« Quand les acteurs malveillants abusent des plateformes en ligne, ils les utilisent en général pour gagner de l’influence, des soutiens ou parce qu’elles ont à leurs yeux une valeur monétaire. Ces acteurs vont habituellement choisir les sources de Chat qui peuvent être facilement accessibles pour leurs victimes ou leurs soutiens », commente Daniel Morgan, un membre de l’équipe de Tamar au sein d’ActiveFence.

Logo WhatsApp sur un téléphone. (Crédit : AP Photo/Patrick Sison, File)

La « taupe », un terme industriel

Les solutions d’ActiveFence « sont au sommet » des systèmes existants mis en place par les équipes de sécurité internes pour assurer la sécurité et l’intégrité des interactions en ligne, note Tamari. « Nous pouvons fournir un fil de contenus qui contreviennent aux politiques d’une organisation donnée, par exemple. Chaque plateforme a son propre ADN, ses propres philosophies, et nous connaissons les normes différentes qui sont strictement appliquées dans chacune d’entre elles. »

Les différentes équipes de recherche de la firme peuvent aussi fournir des signalements et des analyses des différents problèmes susceptibles d’être rencontrés par leurs clients. Des recherches détaillées sur des sujets tels que la manière dont les enfants sont manipulés dans les communautés portant sur les troubles alimentaires en ligne, ou sur les moyens employés par les acteurs menaçants pour accéder à des comptes de jeu en ligne pour y commettre des fraudes, sont mises à disposition du public sur le site internet de l’entreprise.

L’idée, dit Tamari, est de fournir aux clients la capacité de répondre de manière appropriée aux contenus malins sur les plateformes, « ce n’est pas de résoudre le problème ». Alors qu’il lui est demandé si les équipes ont parfois le sentiment de jouer « les taupes » pour découvrir les contenus incriminés, Tamari répond que c’est un terme utilisé de manière banale dans l’industrie.

De jeunes joueurs aux championnats de jeux vidéos GameIn Pro à Tel Aviv, le 5 avril 2021. (Crédit : Luke Tress/Times of Israel)

Ces acteurs menaçants, comme ActiveFence les appelle, passent à l’acte avec une sophistication alarmante et toujours plus importante pour échapper à la détection, et ils s’adaptent rapidement aux nouvelles règles. « Dans une certaine mesure, nous sommes encore tous les jours surpris par ce dont nous sommes témoins – qu’il s’agisse de contenus légaux mais horribles, des nouvelles tendances qui sont adoptées par les acteurs souterrains, par la technologie employée », s’exclame Morgan.

« Ces gens changent en permanence, ils adaptent leurs tactiques et ils utilisent de nouvelles méthodes pour échapper aux défenses les plus robustes qui ont été mises en place par les plateformes – il est donc impératif de tirer des leçons en permanence, de former nos systèmes et de toujours les devancer d’un pas », note-t-il.

Tamari déclare qu’il y a aussi beaucoup d’argent et d’organisations – à un niveau surprenant, précise-t-elle – impliqués dans la promotion de théories du complot et de fausses campagnes d’information. « Ce sont pas seulement des doux dingues », dit-elle.

« On constate la manière dont la désinformation grandit et quels acteurs travaillent sur tout un ensemble de plateformes. C’est un écosystème tout entier », remarque-t-elle.

Des employés de Facebook travaillent dans une unité axée sur la lutte contre la désinformation et la manipulation à Menlo Park, en Californie, en 2018. (Noah Berger/AFP via Getty Images)

La plus grande partie du travail d’ActiveFence consiste à découvrir les contenus nuisibles qui pourraient ne pas nécessairement pour autant être illégaux, et à les signaler aux plateformes pour qu’elles agissent conformément à leurs politiques mises en place, déclare Morgan.

Mais parfois, la découverte de contenus peut nécessiter une action urgente. « Quand et si nous découvrons des contenus qui font planer une menace immédiate et grave sur le public – en particulier sur les enfants – ou qui violent explicitement les lois de juridictions particulières, nous les signalons directement aux autorités compétentes », dit Morgan – comme cela a été le cas du maire, aux États-Unis, ou du réseau de trafic d’enfants.

ActiveFence explique travailler dans un nouvel espace très dynamique aux côtés de concurrents – ONG ou centres activistes – « mais aucun n’est pionnier dans l’approche proactive que nous avons adoptée ».

« Tout le monde ici est très axé sur la mission », dit Tamari.