Le déficit de désinformation de l’IA qui manque peut-être au Pentagone

Le Pentagone s’améliore dans la détection des deepfakes. Le programme Semantic Forensics de la DARPA, le contrat prototype de la Defense Innovation Unit avec Hive et une pile croissante d’outils de détection vont tous dans le même sens. Le ministère de la Défense a décidé que la lutte contre la désinformation constitue un problème de détection.

Ils ont tort – non pas sur le fait que les deepfakes constituent une menace, mais sur l’endroit où réside la véritable menace.

Les outils de détection financés par le DoD ont été conçus pour un monde dans lequel les adversaires génèrent de fausses images, de fausses vidéos et de faux sons, puis tentent de les faire passer pour réels. Ce monde existe. Mais c’est la version simple du problème. La version la plus difficile, celle qui apparaît dans la recherche mais pas dans les budgets, se situe en amont. Les adversaires empoisonnent les modèles d’IA sur lesquels s’appuient les analystes de la défense, les plateformes de renseignement et les décideurs politiques pour trier le vrai du faux.

On ne sait pas si le DoD a déjà rencontré ce problème dans ses propres systèmes. Mais des chercheurs civils l’ont documenté à plusieurs reprises. Le Digital Forensic Research Lab de l’Atlantic Council et l’AI Security Institute du Royaume-Uni ont tous deux publié des preuves de contenus contradictoires intégrés dans les données de formation qui alimentent les modèles d’IA largement utilisés.

Nous suivons cela depuis Israël depuis janvier, lorsque l’Iran a coupé son Internet en raison de troubles intérieurs. La fermeture avait pour but de faire taire les manifestants, mais elle a également révélé comment les flux d’informations contrôlés par l’État finissent par façonner ce que les modèles d’IA apprennent sur la région. Téhéran mène depuis des années ses propres campagnes de désinformation en utilisant du contenu généré par l’IA. Ce n’est pas de la spéculation. C’est documenté.

Mais le problème va bien au-delà de l’Iran. Les alliés des États-Unis dans la région disposent de leurs propres contrôles d’information. Israël restreint l’accès des journalistes à Gaza et limite ce que les journalistes travaillant à l’intérieur du pays peuvent couvrir. Les États du Golfe contrôlent étroitement les reportages sur les frappes de missiles iraniens à l’intérieur de leurs frontières. Même le gouvernement américain a fait pression sur les sociétés d’imagerie satellitaire pour qu’elles limitent ce qu’elles publient, et plusieurs d’entre elles se sont conformées. Ces restrictions façonnent ce que les modèles d’IA apprennent sur la région, tout aussi sûrement que la censure iranienne.

Le problème concerne également les adversaires américains en dehors du Moyen-Orient.

Lors d’un audit du DFRLab de l’Atlantic Council sur Common Crawl, l’archive Web publique qui alimente une grande partie du pipeline mondial de formation en IA, les chercheurs ont découvert du contenu du réseau Pravda, une opération pro-Kremlin qui a inondé Internet de millions d’éléments de propagande, intégrés directement dans les données de formation. Des documents provenant de Glassbridge, une opération d’influence adjacente au gouvernement chinois, et de RT russe étaient également présents. Common Crawl n’a pas répondu aux conclusions. Un modèle majeur à pondération ouverte a reproduit ce contenu presque textuellement lorsqu’il y était invité.

Dans quelle mesure ces systèmes sont-ils fragiles ? Une étude réalisée en octobre par Anthropic, l’AI Security Institute du Royaume-Uni et l’Institut Alan Turing a révélé qu’il suffit de 250 documents malveillants pour compromettre un modèle volumineux. Une fois ce contenu intégré aux poids, la seule solution est un recyclage complet. Cher. Pas pratique. Habituellement, ce n’est pas fait.

C’est l’écart. Le Pentagone construit une meilleure souricière pendant que les souris réécrivent le plan de la maison.

Les outils de détection signalent les médias synthétiques, c’est-à-dire les images, vidéos ou audio générés par l’IA, après leur création. Ils ne font rien face à un modèle qui a été tranquillement formé pour favoriser certains récits, minimiser certains conflits ou omettre des faits qu’un acteur étatique préférerait que le monde oublie. Lorsqu’un analyste de la défense demande à un assistant en IA de résumer l’évolution de la mer de Chine méridionale ou d’analyser des images satellite du Moyen-Orient, la réponse peut déjà être façonnée par l’opération d’influence d’un adversaire. Aucun détecteur de deepfake ne détecte cela.

Alors, à quoi ressemble la réduction de cet écart ?

Normes de provenance des données pour tout modèle d’IA utilisé dans un contexte de défense ou de renseignement : Si nous ne pouvons pas vérifier sur quoi un modèle a été formé, nous ne devrions pas faire confiance à ses résultats là où la précision compte. L’annonce du Pentagone en mars concernant l’exploration de la formation aux données classifiées est une étape, mais elle ne couvre que les modèles spécifiques au gouvernement. L’écosystème plus large que les analystes de la défense utilisent réellement reste sans réponse. Le développement de l’infrastructure d’IA en Israël, y compris des projets conjoints avec des entreprises de défense américaines, montre à quoi pourrait ressembler dans la pratique une approche axée sur la provenance.

Une équipe rouge qui va au-delà des contrôles de sécurité et de partialité : Les exercices actuels testent si les modèles produisent du contenu préjudiciable lorsque vous y êtes invité. Ils ne testent pas si les modèles ont déjà été influencés par des données de formation contradictoires. Cela doit changer.

Et le plus immédiatement, prise de conscience : La plupart des professionnels de la défense avec lesquels je parle n’ont aucune idée que l’empoisonnement des données d’entraînement est possible, et encore moins qu’il a déjà été documenté. Ce déficit de connaissances est en soi une vulnérabilité.

La lutte contre la désinformation ne se limite pas à ce qui est faux. Il s’agit de ce que les machines en qui nous avons confiance pour faire la différence apprennent tranquillement à croire.

Mark Ginsberg est un écrivain et analyste spécialisé dans les domaines de la technologie, de la sécurité et des affaires géopolitiques. Son travail a été publié dans le Times of Israel, où il écrit sur la propagande basée sur l’IA, les opérations d’information et l’intersection des technologies émergentes avec les conflits régionaux.