Faites confiance à la « Super Intelligence » pour les opérations critiques
L’Enterprise Super Intelligence (SI), un outil puissant de tri et d’évaluation des données pour permettre une prise de décision plus rapide et mieux informée, est aussi efficace que les données qu’il alimente. Il est primordial de se protéger contre les tentatives de compromettre la sécurité ou d’injecter des données malveillantes pour garantir que les systèmes autonomes soient fiables et fournissent des évaluations précises et opportunes des données qu’ils analysent.
« La confiance n’est pas un débat abstrait et éthique ; c’est une exigence opérationnelle non négociable », a déclaré Mandy Satterwhite, directrice générale et cyber-responsable chez Accenture Federal Services. « Dans le feu de l’action, si un système autonome s’appuie sur des données empoisonnées, donne un résultat inexplicable ou échoue silencieusement en coulisses, cela ne vous donne aucun avantage ; cela crée un risque opérationnel inacceptable. »
Garantir la fiabilité des outils SI nécessite une stratégie de sécurité complète, une gouvernance rigoureuse des données et un équilibre opérationnel entre protection et accessibilité.
Les systèmes autonomes sont inutiles sans confiance
SI permet la prise de décision sur le champ de bataille en triant rapidement des volumes massifs de données et en fournissant les informations nécessaires pour donner aux commandants une image plus claire de la situation. Si un commandant regarde des images satellite d’une cible et dispose de données générées par le système sur ce qui a changé, comme une concentration inattendue de moyens blindés dans un périmètre contesté, ces renseignements éclairent les manœuvres tactiques immédiates. Mais si ce flux a été empoisonné ou usurpé, les commandants peuvent prendre de mauvaises décisions parce que leur connaissance de la situation n’est pas exacte.
« Lorsque les systèmes de commandement et de contrôle (C2) synthétisent des options pour un décideur, ce dirigeant doit savoir avec une certitude absolue que ces recommandations reposent sur des données faisant autorité et non falsifiées sous notre contrôle », a déclaré Satterwhite. « Si vous ne pouvez pas retracer la provenance des données ou expliquer comment la conclusion a été tirée, vous ne pouvez pas agir en conséquence au combat car le succès de la mission est en jeu. »
À bien des égards, il s’agit d’un problème de chaîne d’approvisionnement, en particulier lorsque des modèles commerciaux sont adoptés à des fins militaires. Lorsque les composantes de la défense adaptent des modèles de frontière commerciale aux systèmes de mission tactique, elles héritent des données de formation et des dépendances de cette fondation. Si ce pipeline en amont est compromis, la vulnérabilité est directement transférée sur le champ de bataille.
Un autre défi consiste à utiliser le bon modèle pour le travail. Même si les modèles frontaliers à grande échelle sont puissants dans de nombreux cas d’utilisation, ils ne sont peut-être pas idéaux pour les capacités spécialisées dont l’armée américaine a besoin. Les modèles doivent être dimensionnés correctement et leurs éléments fondamentaux, tels que les sources de données et les pondérations des modèles, doivent être audités pour vérifier leur intégrité architecturale et leur adéquation aux environnements à fortes conséquences, a déclaré Satterwhite.
« Nous avons vu des adversaires tenter de manipuler directement les fichiers de poids des modèles pour fausser les résultats. Si vous ne contrôlez pas et ne vérifiez pas la chaîne d’approvisionnement numérique de bout en bout, vous construisez sur un terrain fragile. »
Problèmes de cybersécurité
SI est une arme à double tranchant pour la gestion de l’information. Bien qu’il puisse trier des ensembles de données massifs à des vitesses inimaginables pour les humains, il peut également alimenter des cyberattaques susceptibles de submerger les protocoles de sécurité et de compromettre les données.
Les méthodes traditionnelles de conformité en matière de cybersécurité, telles que les tests d’intrusion périodiques ou les listes de contrôle préalables au déploiement, ne peuvent pas identifier les cyberattaques et permettre des réponses suffisamment rapides pour suivre le rythme des environnements de menaces autonomes et rapides. Lorsque les adversaires peuvent utiliser des outils automatisés pour rechercher en permanence les vulnérabilités, puis frapper instantanément lorsqu’une d’entre elles est identifiée, les tests périodiques de sécurité ne suffisent pas.
« Les modèles avancés ont complètement effondré la chronologie des cyberattaques », a déclaré Satterwhite. « La cyberdéfense doit évoluer vers une validation continue et automatisée, similaire au concept de « combattre le feu par le feu ».
L’établissement de cette posture défensive nécessite l’intégration d’une équipe rouge automatisée et d’une validation continue des vulnérabilités directement dans les pipelines logiciels. Ce faisant, le code, les modèles et les flux de travail agents peuvent être testés en permanence par rapport à des scénarios d’attaque réels, permettant une validation simultanée des protocoles de sécurité pour garantir la protection des données.
Traditionnellement, l’ajout de niveaux de cybersécurité est considéré avec méfiance, car cela ralentit les opérations. La mise en œuvre de protocoles de sécurité dès le départ peut surmonter ce ralentissement potentiel, a déclaré Satterwhite.
« L’idée selon laquelle la sécurité et la vitesse s’excluent mutuellement est la plus grande idée fausse du secteur », a-t-elle déclaré. « Lorsque la sécurité est traitée après coup ou comme une inspection finale à la fin d’un cycle de développement pluriannuel, oui, cela stoppe les progrès et entraîne des retards massifs. Mais lorsque vous intégrez la sécurité directement dans l’architecture dès le premier jour, la sécurité devient un accélérateur. »
Équilibrer sécurité et accessibilité
Même si la cybersécurité est importante pour se protéger contre les intrusions ou la falsification des données, elle doit être équilibrée en permettant l’accès à ceux qui en ont besoin. Si les combattants sur le terrain doivent constamment franchir des barrières de sécurité encombrantes ou faire face à des blocages de données sous le feu des critiques, la préparation opérationnelle s’effondre.
La clé pour atteindre cet équilibre consiste à concevoir des systèmes avancés comme une capacité d’augmentation avec une validation humaine dans la boucle, plutôt qu’un système autonome non guidé. Même si les outils numériques peuvent traiter et évaluer les données, les humains doivent exercer le contrôle ultime sur la prise de décision et l’accès. En créant des architectures qui permettent aux opérateurs humains de tirer pleinement parti de la vitesse et de la puissance de collecte, de classement et de gestion des données que SI peut offrir, les opérateurs peuvent maximiser pleinement ces capacités tout en travaillant avec des données fiables et fiables.
« Dans des environnements de guerre sensibles, il est primordial de garder un décideur humain aux commandes », a déclaré Satterwhite. « Cela signifie concevoir des garde-corps architecturaux explicites, des points de contrôle de retour d’information en boucle OODA et des commutateurs d’arrêt durs directement dans l’architecture du système. Un modèle autonome peut traiter rapidement les données de capteurs non structurées et faire apparaître trois plans d’action exploitables, par exemple, mais un opérateur humain doit évaluer ces choix vérifiés à un point de contrôle délibéré avant l’exécution. Cette structure réduit les risques, protège l’intégrité de la mission et garantit que l’autorité de commandement reste exactement à sa place. «
