L’IA pourrait infliger des peines de prison plus sévères, voire une caution si elle est libérée pour rendre des jugements: étude

Selon une nouvelle étude de chercheurs du MIT, l’intelligence artificielle ne parvient pas à égaler les humains dans les appels au jugement et est plus encline à infliger des peines et des punitions plus sévères aux contrevenants aux règles.

La découverte pourrait avoir des implications dans le monde réel si les systèmes d’IA sont utilisés pour prédire la probabilité d’une récidive criminelle, ce qui pourrait entraîner des peines de prison plus longues ou la mise en liberté sous caution à un prix plus élevé, selon l’étude.

Des chercheurs de l’université du Massachusetts, ainsi que d’universités canadiennes et d’organisations à but non lucratif, ont étudié des modèles d’apprentissage automatique et ont découvert que lorsque l’IA n’est pas entraînée correctement, elle émet des jugements plus sévères que les humains.

Les chercheurs ont créé quatre paramètres de code hypothétiques pour créer des scénarios où les gens pourraient enfreindre les règles, comme héberger un chien agressif dans un complexe d’appartements qui interdit certaines races ou utiliser un langage obscène dans une section de commentaires en ligne.

Les participants humains ont ensuite étiqueté les photos ou le texte, leurs réponses étant utilisées pour former les systèmes d’IA.

« Je pense que la plupart des chercheurs en intelligence artificielle/apprentissage automatique supposent que les jugements humains dans les données et les étiquettes sont biaisés, mais ce résultat dit quelque chose de pire », a déclaré Marzyeh Ghassemi, professeur adjoint et chef du groupe Healthy ML en informatique et Laboratoire d’intelligence artificielle au MIT.

« Ces modèles ne reproduisent même pas des jugements humains déjà biaisés parce que les données sur lesquelles ils sont formés ont un défaut », a poursuivi Ghassemi. « Les humains étiquetteraient différemment les caractéristiques des images et du texte s’ils savaient que ces caractéristiques seraient utilisées pour un jugement. »

Des entreprises à travers le pays et le monde ont commencé à mettre en œuvre la technologie de l’IA ou à envisager l’utilisation de la technologie pour faciliter les tâches quotidiennes généralement effectuées par des humains.

La nouvelle recherche, dirigée par Ghassemi, a examiné dans quelle mesure l’IA « peut reproduire le jugement humain ». Les chercheurs ont déterminé que lorsque les humains entraînent des systèmes avec des données « normatives » – où les humains étiquettent explicitement une violation potentielle – les systèmes d’IA atteignent une réponse plus humaine que lorsqu’ils sont entraînés avec des « données descriptives ».

Les données descriptives sont définies comme lorsque les humains étiquettent des photos ou du texte de manière factuelle, par exemple en décrivant la présence d’aliments frits sur une photo d’une assiette. Lorsque des données descriptives sont utilisées, les systèmes d’IA sur-prédisent souvent les violations, telles que la présence d’aliments frits violant une règle hypothétique dans une école interdisant les aliments frits ou les repas à forte teneur en sucre, selon l’étude.

Les chercheurs ont créé des codes hypothétiques pour quatre contextes différents, notamment : la restriction des repas à l’école, les codes vestimentaires, les codes d’appartement pour animaux de compagnie et les règles de la section des commentaires en ligne. Ils ont ensuite demandé aux humains d’étiqueter les caractéristiques factuelles d’une photo ou d’un texte, telles que la présence d’obscénités dans une section de commentaires, tandis qu’un autre groupe a été demandé si une photo ou un texte enfreignait une règle hypothétique.

L’étude, par exemple, a montré aux gens des photos de chiens et a demandé si les chiots avaient violé les politiques d’un hypothétique complexe d’appartements contre la présence de races de chiens agressives dans les locaux. Les chercheurs ont ensuite comparé les réponses à celles posées sous l’égide des données normatives par rapport aux humains descriptifs et ont découvert qu’ils étaient 20% plus susceptibles de signaler qu’un chien avait enfreint les règles du complexe d’appartements sur la base de données descriptives.

Les chercheurs ont ensuite formé un système d’IA avec les données normatives et un autre avec les données descriptives sur les quatre paramètres hypothétiques. Le système entraîné sur des données descriptives était plus susceptible de prédire à tort une violation potentielle des règles que le modèle normatif, selon l’étude.

« Cela montre que les données comptent vraiment », a déclaré Aparna Balagopalan, une étudiante diplômée en génie électrique et en informatique au MIT qui a aidé à rédiger l’étude, à MIT News. « Il est important de faire correspondre le contexte de formation au contexte de déploiement si vous formez des modèles pour détecter si une règle a été violée. »

Les chercheurs ont fait valoir que la transparence des données pourrait aider à résoudre le problème de l’IA prédisant des violations hypothétiques ou des systèmes de formation avec à la fois des données descriptives et une petite quantité de données normatives.

« La façon de résoudre ce problème est de reconnaître de manière transparente que si nous voulons reproduire le jugement humain, nous ne devons utiliser que les données qui ont été collectées dans ce cadre », a déclaré Ghassemi au MIT News.

« Sinon, nous allons nous retrouver avec des systèmes qui vont avoir des modérations extrêmement dures, beaucoup plus dures que ce que feraient les humains. Les humains verraient une nuance ou feraient une autre distinction, alors que ces modèles ne le font pas. »

Le rapport intervient alors que les craintes se répandent dans certaines industries professionnelles selon lesquelles l’IA pourrait anéantir des millions d’emplois. Un rapport de Goldman Sachs plus tôt cette année a révélé que l’IA générative pourrait remplacer et affecter 300 millions d’emplois dans le monde. Une autre étude de la société d’outplacement et de coaching de cadres Challenger, Gray & Christmas a révélé que le chatbot IA ChatGPt pourrait remplacer au moins 4,8 millions d’emplois américains.

Un système d’IA tel que ChatGPT est capable d’imiter une conversation humaine en fonction des invites que les humains lui donnent. Selon un récent document de travail du National Bureau of Economic Research, le système s’est déjà avéré bénéfique pour certaines industries professionnelles, telles que les employés du service client qui ont pu augmenter leur productivité avec l’aide de Generative Pre-trained Transforme d’OpenAI.