L’Intelligence artificielle on entend beaucoup parlé d’elle en ce moment, Elon Musk, Mark Zukerberg, Bill Gates, … tous les patrons des GAFAM s’interrogent, tweet, débattent sur le sujet. C’est la technologie qui donne des étoiles dans les yeux à certains et qui fait peur à d’autres… Aujourd’hui nous vous proposons un texte écrit par Thierry Berthier, chercheur en Cyberdéfense et Cybersécurité à l’université de Limoges. Dans son texte il sera question d’Elon Musk, d’IA faible/forte et de la dangerosité de l’IA pour l’humain. Bonne lecture.

⚠️ Attention ce texte est d’une certaine longueur si vous voulez le télécharger pour le lire plus tard cliquez ICI.

Elon Musk, visionnaire ou Cassandre de l’IA ?

Elon Musk, entrepreneur visionnaire, fondateur de Tesla et de Space X, inventeur génial, développeur éclairé de l’innovation, futurologue, futur premier voyagiste du système solaire, communique de plus en plus souvent sur l’intelligence artificielle qu’il considère aujourd’hui comme « le plus grand risque auquel notre civilisation sera confrontée ».

Ses dernières interventions ne souffrent d’aucune ambiguïté, ne s’embarrassent d’aucune précaution pour affirmer que le genre humain est en danger. Le péril est parmi nous et l’IA pourrait nous conduire prochainement à un Irrémédiable Armageddon.

Elon Musk n’est d’ailleurs pas la seule personnalité de dimension planétaire à donner l’alerte. Il partage ce rôle de lanceur d’alerte ou de Cassandre avec Stephen Hawking et Bill Gates qui tiennent en substance le même discours. Les mises en garde ont réellement commencé en 2015 avec la publication d’une lettre ouverte devenue célèbre par le FHI d’Oxford alertant sur les risques de l’IA utilisée dans les robots armés autonomes. Particulièrement pessimiste, Elon Musk affirme qu’il sera vite trop tard pour l’avenir de l’humanité si des mesures conservatoires et contraignantes ne sont pas prises dès aujourd’hui pour encadrer le développement de l’IA.

Elon Musk alertant sur les dangers de l’IA

Elon Musk, Acteur et Lanceur d’alerte

On pourrait y voir un premier paradoxe ou une légère schizophrénie sachant qu’Elon Musk est un acteur mondial de l’IA, qu’il contribue à ses progrès dans les différentes activités de R&D qu’il finance et dans les différents projets qu’il soutient. Pourquoi ne met-il pas alors immédiatement un terme à toutes ses participations ayant de près ou de loin un rapport avec l’IA ?

Peut-on endosser le rôle de lanceur d’alerte en même temps que celui de générateur du péril que l’on dénonce ? Une pirouette rhétorique pourrait faire dire à Elon Musk que c’est justement parce qu’il participe au projet global de l’IA qu’il bénéficie d’une vision privilégiée des dangers. Et notamment des périls collatéraux qui nous menacent. C’est effectivement sur cette posture intellectuelle et ce prisme de lecture qu’il faut écouter et lire Elon Musk.

Écouter Elon Musk, c’est, en préalable, filtrer l’écume de son discours qui participe au solutionnisme ambiant en Silicon Valley. Lorsqu’Elon annonce l’homme sur Mars en 2024, il se laisse sept petites années pour résoudre l’ensemble des problèmes inhérents à cette future mission alors que la NASA vient de jeter l’éponge faute de crédits. Le tropisme solutionniste sous-estime la complexité de l’environnement et des processus, gomme les obstacles, nie les forces de l’aléatoire et de l’imprévisible et fait preuve d’une certaine arrogance face aux temporalités humaines. Pour autant, une fois cette écume solutionniste évacuée, il reste des interrogations légitimes sur les capacités futures de l’IA dont celle de nuire à l’espèce humaine. Lors de ses mises en garde et alertes, Elon Musk se projette clairement dans un contexte d’intelligence artificielle forte disposant d’une forme de conscience de ses propres actions.

L’IA forte une arme par et contre l’Homme ?

Sous l’hypothèse d’IA forte, la question de la dérive malveillante d’une IA prend alors tout son sens. Une IA forte pourrait par exemple privilégier ses propres choix au détriment des intérêts humains et s’engager délibérément vers un rapport de force et un conflit. Elle pourrait aussi s’auto-attribuer la mission supérieure d’œuvrer pour le bien de l’humanité au prix d’un abandon du libre arbitre de ceux qu’elle cherche à aider.  Croyant faire le bien de l’espèce humaine, elle contribuerait au contraire à son aliénation et à sa vassalisation. Dans le contexte d’une IA forte, toutes les situations de concurrences puis de duels avec l’espèce humaine sont rationnellement envisageables. Ce sont d’ailleurs ces scénarios qui nourrissent depuis trois décennies tous les films de science-fiction évoquant l’IA…

Finalement, lorsqu’Elon Musk évoque des dérives prévisibles de l’IA forte, il ne fait que proposer de nouveaux scénarios de science-fiction qu’il est objectivement impossible de confirmer ou d’infirmer en l’état actuel des connaissances scientifiques.

Les risques de détournement malveillant d’une IA faible en 2017

La situation qu’il convient d’examiner et sur laquelle une réflexion rationnelle doit être menée sans tarder est celle de la possibilité  d’effets collatéraux indésirables, nuisibles ou destructeurs provoqués par une IA faible n’ayant, rappelons-le,  aucune conscience d’elle-même, de son propre fonctionnement et de ses sorties produites. Dans ce contexte, on ne fait intervenir dans la réflexion que l’existant technologique actuel, l’état de l’art, et la R&D en cours sur l’IA à l’horizon 2022, en tenant compte d’une durée de programme de recherche sur cinq ans.

Ce cadrage préalable permet d’évacuer les hypothèses indécidables relevant de la science fiction et celles issues d’un solutionnisme niant la complexité des défis technologiques.

La question qu’Elon Musk pourrait rationnellement poser devient : « Dans l’état actuel des connaissances et des recherches en cours, le fonctionnement des IA peut-il provoquer des désordres ? des désastres ? un Armageddon ? ».

Concernant les désordres, la réponse est clairement positive au regard des expérimentations de cybersécurité réalisées depuis 2014.

Concernant les désastres et un éventuel Armageddon, il semble impossible d’apporter une réponse qui ne relève pas immédiatement de la fiction. Cela dit, il est possible de lister au moins un scénario dont les mécanismes et automatismes mis en résonance deviendraient si instables qu’ils pourraient échapper au contrôle humain. L’issue pourrait alors être très incertaine ou chaotique.

L’intervention extérieur non-prévu

Le premier facteur d’instabilité relève de la cybersécurité de l’intelligence artificielle et rassemble l’ensemble des détournements réalisables par hacking, prise de contrôle illicite ou influence volontairement malveillante des processus d’apprentissage d’un système autonome.

Tay, l’IA conversationnelle de Microsoft en a fait les frais il y a quelques mois avec un apprentissage forcé aux propos racistes et fascistes, le tout en moins de 24 heures d’utilisation. Pour autant, les effets indésirables du détournement de Tay ont été très limités et se réduisent finalement à un préjudice d’image pour l’équipe responsable de ce ChatBot particulièrement vulnérable.

Tay, ChatBot conversationnel de Microsoft éduqué aux propos racistes. Source : Twitter

Les armes automatisées

Le détournement d’un système armé autonome s’appuyant sur une phase d’apprentissage serait beaucoup plus problématique. L’armement autonome s’apprête à déferler sur le champ de bataille. Le 10 juillet 2017, le groupe industriel russe Kalashnikov a présenté officiellement sa gamme de robots armés autonomes embarquant une architecture de réseaux de neurones dédiée à la reconnaissance et au traitement automatique des cibles. La nouvelle doctrine militaire russe a pour objectif d’exclure l’homme de la zone d’immédiate conflictualité et de robotiser plus de 30 % de ses systèmes d’armes.

Il en est de même du côté américain et chinois avec le développement de navires de lutte anti-sous-marine  autonomes (programme Darpa Sea Hunter). Le piratage et la prise de contrôle de ces systèmes autonomes par un adversaire pourrait provoquer d’importants dommages et de fortes instabilités sur le terrain…

Sea Hunter, navire-drone  autonome chasseur de sous-marins – Programme DARPA 2016

Exemple de développement d’arme de Kalashnikov – juillet 2017                                                                     

L’IA pas un simple outil mais un expert

De la même façon, les systèmes d’aide à la décision militaires (anciennement appelés systèmes experts) sont eux aussi sensibles aux cyberattaques et peuvent potentiellement devenir la cible de détournement par orientation de leur phase d’apprentissage. A ce titre, le rôle des fausses données injectées volontairement dans l’espace de collecte de ces systèmes (pour les tromper) devient central.

L’IA peut aujourd’hui produire des imitations de si bonne qualité qu’il devient presque impossible de détecter le faux du vrai. Cela a été le cas en 2016 avec la production d’un tableau à la manière de Rembrandt par une IA qui a été éduquée à partir de l’ensemble des œuvres du Maître et qui commandait une imprimante 3D pour l’exécution du tableau.

Le vrai, le faux ou les deux ?

Plus récemment, une IA a produit une vidéo d’un discours fictif de Barack Obama à partir d’une phase d’apprentissage des vrais discours de l’ancien Président. Le résultat est absolument saisissant !

On imagine les effets sur la population mondiale, sur les marchés et sur l’équilibre géopolitique  d’un faux communiqué vidéo d’un Président américain annonçant une attaque chimique, biologique ou nucléaire fictive… L’instabilité provoquée par la diffusion d’un vidéo « Fake News » crédible de déclaration de guerre pourrait vite devenir incontrôlable…

Les fausses données numériques interprétées ou produites par des IA constituent le premier vecteur d’instabilité induit par l’IA. Elles doivent faire l’objet de recherches et de développement de systèmes automatisés capables de détecter en temps réel et en haute fréquence la véracité d’une donnée puis de donner l’alerte en cas de doute légitime.

IA Versus IA

Enfin, pour faire écho aux propos d’Elon Musk, on doit examiner un scénario inédit qui ne fait pas intervenir de piratage ou de détournement d’IA mais qui s’appuie sur une mise en résonance imprévue de plusieurs mécanismes associés à des IA distinctes, fonctionnant légitimement et correctement. Pour préciser ce scénario, on utilise deux mécanismes liés à la cybersécurité et au fonctionnement de l’OTAN.

Le premier mécanisme précise que toute cyberattaque massive sur un pays membre de l’OTAN peut entraîner une réponse militaire classique des autres pays membres et des États-Unis après attribution de l’attaque. Des automatismes d’alerte ont été créés en ce sens. Les États-Unis ont annoncé qu’en cas de cyberattaque massive sur leurs infrastructures critiques, ils se réservaient le droit de riposter par des bombardements. Le cyberespace est considéré aujourd’hui par l’OTAN comme un espace des opérations au même titre que l’espace maritime, terrestre et spatial.

Le second mécanisme concerne un programme lancé par la Darpa (l’agence américaine de développement des technologies de défense). Ce programme de cybersécurité développe des outils autonomes d’inspection et de détection automatisée de vulnérabilités dans les codes informatiques. Le travail de recherche de bugs et de failles de sécurité est confié à une IA qui passe en revue les programmes et détecte (une partie seulement) des vulnérabilités.

Un expert qui réagit « trop » rapidement

On peut alors imaginer le scénario suivant :  Un système expert militaire OTAN (une IA) qui souhaite s’entraîner et améliorer ses performances actionne l’IA de détection automatisée de vulnérabilités de programmes sensibles d’un pays membre jugé fragile. En guise d’exercice, le système expert lance des attaques sur l’ensemble des vulnérabilités recensées du pays membre, en camouflant l’origine de l’attaque et en laissant des traces d’un pays tiers non membre de l’OTAN. Cette cyberattaque massive rentre alors dans le cadre du processus de réponse automatisée et d’agression contre un membre de l’organisation qui engage alors une réponse militaire sur le pays tiers.

Ce scénario, fortement résumé et simplifié, a fait l’objet d’une étude publiée en 2017 dans une revue de Défense (RGN). Il met l’accent sur le risque réel de mise en résonance d’automatismes indépendants et légitimes associés à des IA qui placées dans une certaine séquence provoquent une instabilité ou une situation de crise. C’est sans doute dans cette perspective de désordres qu’il faut entendre les propos alarmants d’Elon Musk .

Pour conclure…

Il est aujourd’hui strictement impossible de prévoir les futures capacités de l’IA à l’horizon 2035-2040 ou d’affirmer qu’une IA forte sera disponible dans une ou deux décennies. Pour autant, la prolifération des fausses données numériques créées par les IA, leur qualité et leur impact sur notre écosystème hyper connecté vont produire de fortes turbulences à court terme. Ajoutons à cela le risque de détournement volontaire ou de mise en résonance de systèmes autonomes pour avoir la certitude que la nécessaire montée en puissance de l’intelligence artificielle ne s’effectuera pas sans quelques dommages collatéraux.