« Le 6ème pourquoi »

Recommandation 4: Construire une « explicabilité située » d’un système d’intelligence artificielle

En 1932, Taiichi Ohno, jeune ingénieur japonais entre chez Toyota, sur l’activité historique de la firme, les métiers à tisser. Il y fera toute sa carrière jusqu’à en devenir vice-président en 1975. Ce n’est qu’en 1943 qu’il rejoint l’usine de Koromo, qui produit alors quelques véhicules particuliers et, surtout, des camions de qualité médiocre qu’elle vend à l’armée japonaise. D’abord responsable des stocks, Ohno est nommé peu après directeur de l’atelier d’usinage. A l’issue de la guerre, l’entreprise est au bord de la faillite.

En 1947, devenu l’un des responsables de la production du site, Ohno prend l’initiative d’affecter à un seul opérateur plusieurs machines correspondant à des phases différentes d’un processus. En cassant la spécialisation, il permet d’accroître la production sans augmenter les effectifs, entraînant une baisse du coût des pièces produites. Après un voyage aux Etats-Unis initialement pour s’acculturer au fordisme et au taylorisme, il comprend que ce modèle, certes impressionnant, n’est pas transposable au Japon. Si les Américains, en raison de la taille de leur marché, peuvent jouer sur les énormes quantités produites pour abaisser les coûts, quitte à gérer d’importantes quantités de rebuts et des stocks considérables, les Japonais, eux, ne le peuvent pas pour la raison inverse : la taille limitée de leur marché. L’équation à laquelle Toyota est confronté est compliquée : il faut abaisser les coûts tout en produisant des séries courtes… En 1988, il publie un livre majeur dans l’histoire du management industriel, « Toyota Production System : beyond large-scale production »[1], dont les concepts sont rassemblés en France sous le nom de toyotisme. Le toyotisme est une stratégie industrielle post-fordiste fondée sur l’absence de stock, la production en flux tendu de petites quantités, le « juste-à-temps » et une réactivité très vive au marché. En 2012, Toyota est devenue le plus gros constructeur automobile du monde, devant General Motors (États-Unis) et Volkswagen (Allemagne).

Parmi tous les outils de cette méthode, les « 5 pourquoi » consistent à poser la question pertinente commençant par un « pourquoi » afin de trouver la source, la cause principale de la défaillance. La technique a été développée à l’origine par Sakichi Toyoda (1867-1930, fondateur de Toyota) et a été utilisée par Toyota dans le cadre de l’évolution de ses méthodes de fabrication. C’est un élément essentiel de la formation à la résolution de problèmes, dispensée lors de l’initiation au Système de Production Toyota. Taiichi Ohno décrit la méthode des cinq pourquoi comme « la base de l’approche scientifique de Toyota en répétant cinq fois pourquoi la nature du problème ainsi que sa solution deviennent claires ». Pour lui, « ne pas avoir de problèmes est le plus grand des problèmes ». Il ne voyait pas un problème comme un élément négatif, mais comme « une opportunité de kaizen (amélioration continue) déguisée ». Chaque fois qu’un problème se présentait, il encourageait son personnel à explorer les problèmes de première main jusqu’à ce que les causes profondes soient trouvées « clé d’une solution durable », avait coutume de dire Ohno : « Observez l’atelier de production sans idées préconçues », conseillait-il. « Demandez cinq fois « pourquoi » pour chaque problème ». ll utilisait l’exemple d’un robot de soudage s’arrêtant au milieu de son opération pour démontrer l’utilité de sa méthode : Ohno a fini par trouver la cause profonde du problème grâce à un questionnement persistant :

• « Pourquoi le robot s’est-il arrêté ?
  • Le circuit a été surchargé, ce qui a fait sauter un fusible.
• Pourquoi le circuit est-il surchargé ?
  • La lubrification des roulements était insuffisante, ils se sont bloqués.
• Pourquoi la lubrification des roulements était-elle insuffisante ?
  • La pompe à huile du robot ne fait pas circuler suffisamment d’huile.
• Pourquoi la pompe ne fait-elle pas circuler suffisamment d’huile ?
  • L’admission de la pompe est obstruée par des copeaux de métal.
• Pourquoi l’admission est-elle obstruée par des copeaux métalliques ?
  • Parce qu’il n’y a pas de filtre sur la pompe ».

« La cause profonde de tout problème est la clé d’une solution durable », avait coutume de dire Ohno. Il soulignait constamment l’importance de « genchi genbutsu », ou d’aller à la source, et de clarifier le problème de ses propres yeux. « Les données sont, bien sûr, importantes dans la fabrication », faisait-il souvent remarquer, « mais j’accorde la plus grande importance aux faits ».

J’étais récemment en déplacement dans une usine automobile dans le cadre du programme Confiance IA, qui réunit des acteurs académiques et industriels français majeurs des domaines de la défense, des transports, de l’industrie manufacturière et de l’énergie. Ses membres ont décidé de mutualiser leurs savoir-faire scientifiques et technologiques de pointe pour « concevoir et industrialiser des systèmes à base d’IA de confiance »[2]. J’ai pu justement découvrir un SIA qui évalue la qualité de soudures sur des châssis : Vert, c’est bon ; orange, à contrôler ; rouge, anomalie constatée. Pour autant, un responsable nous donna le mot d’ordre de chaque fin de réunion quotidienne : « opérateur valide en dernier! ». Mais sur quoi s’appuyer pour confirmer la décision de l’IA ? Le programme Confiance AI a justement développé une solution : l’IA détoure désormais la zone sur laquelle le système a fondé son diagnostic. Nous appelons cette opération l’ « explicabilité située ».

L’explicabilité de l’IA est un actuellement un des verrous éthiques et industriels majeurs et consécutivement un sujet de recherche très actif. Elle consiste pour l’utilisateur à être en mesurer de demander « pourquoi », le 6^e :  Quels sont les liens avec le problème posé ? Quelles relations avec les éléments d’application ? Cela consiste à fournir des informations accessibles à tout utilisateur, expert ou profane, et ce quelle que soit son expertise en Machine Learning. Pour la mission Villani (2018), « l’explicabilité des algorithmes d’apprentissage automatique est un sujet si pressant qu’il constitue aujourd’hui un champ de recherche spécifique, qui doit être soutenu par la puissance publique. Trois axes en particulier semblent mériter une attention particulière : la production de modèles plus explicables bien sûr, mais aussi la production d’interfaces utilisateurs plus intelligibles et la compréhension des mécanismes cognitifs à l’œuvre pour produire une explication satisfaisante » (p.21). Les fameux Instituts Interdisciplinaires de l’Intelligence Artificielle (3IA) sont tous sommés de se confronter à ce verrou. Aniti, l’institut toulousain, développe en ce sens une IA « hybride » qui combine l’approche symbolique (à base de règles) et empirique (à base d’apprentissage à partir de données). Car bien que particulièrement saillant avec l’apprentissage machine, le problème de l’explicabilité n’est pas nouveau[3] : il s’est en effet posé avec les systèmes experts (IA symbolique). Ces systèmes généraient initialement de l’opacité cognitive qui renvoie à la difficulté pour les travailleurs à élaborer une compréhension des systèmes, notamment du fait d’un manque d’informations sur leur état et leur fonctionnement. De nombreuses études ont mis en évidence que la difficulté à interpréter leurs actions ou raisonnements était source de problèmes d’usage voire de rejet de ces systèmes. Un grand nombre de recherches ont alors été menées sur la manière de rendre les actions et le fonctionnement des systèmes experts « explicables » Elles consistaient à développer des modules spécifiques (sortes de programmes) capables d’expliquer ou tracer de façon intelligible pour l’utilisateur les raisonnements suivis par le système. Par exemple, MYCIN, un célèbre système expédié à l’identification de bactéries causant des infections graves a été doté d’un module complémentaire qui permet à l’utilisateur d’obtenir des explications du raisonnement suivi par le système, en lui indiquant principalement les connaissances et les règles (logiques ou probabilistes) mobilisées par ce dernier. Une caractéristique importante de ces systèmes experts est que les connaissances et les règles pouvaient être plus ou moins aisément exprimées en langage naturel, car ils étaient formalisés et programmés dans un code proche de ce langage (par exemple, utilisation de règles de type « Si… alors »). L’utilisation du langage naturel était ainsi censée rendre le raisonnement du système compréhensible par un utilisateur, quel que soit son niveau de compétences en informatique. Mais ce type d’explications avait certaines limites, par exemple le manque de justification des inférences réalisées par le système et la non-prise en compte des caractéristiques de l’utilisateur (par exemple, son degré d’expertise). Ces limites ont conduit des chercheurs à proposer d’autres modèles de l’explication, par exemple en l’envisageant comme une interaction structurée qui doit être adaptée à l’utilisateur (ses buts, ses connaissances, etc.) et de façon plus générale, au contexte. Cette idée d’adaptation de l’explication se retrouve dans la notion de « transparence opérative » proposée par Rabardel (1995) et qui consiste à mettre en relation la transparence avec les besoins en informations de l’utilisateur, en fonction de ses buts, de ses compétences, etc. Autrement dit, l’explication doit être ajustée au contexte d’usage, incluant l’utilisateur. C’est précisément ce que nous nommons l’ « acceptabilité située ». Elle permet notamment au travailleur de sentir réellement responsable de son activité.

Or, le rapport du Partenariat Mondial pour l’Intelligence Artificielle montre combien de nombreuses applications actuelles de l’IA sont troublantes pour l’utilisateur : « Ce qui était différent par rapport à d’autres outils, c’est que généralement, nous savons plus ou moins comment cela fonctionne alors que là, il y avait un réel manque de clarté sur les résultats, comment l’outil obtenait un résultat », explique cet utilisateur d’un système dédié à la gestion des messages des habitants aux services municipaux. Le fonctionnement des systèmes d’IA peut donc être source de confusion pour les travailleurs qui peuvent essayer de comprendre le système par eux-mêmes, ce qui leur fait perdre du temps et les expose à des erreurs d’interprétation : « Cela nous était présenté comme un gain de temps sur des tâches à faible valeur ajoutée, raconte un manager de service qui a intégré un chabot pour répondre à ses fournisseurs. Mais nous n’avions pas identifié que de nouvelles tâches complexes allaient apparaître. Le plus difficile est d’appréhender la proposition du système, surtout lorsqu’elle ne correspond pas spontanément à celle que l’agent aurait faite. Parfois, la manière dont le système appréhende les différents éléments d’un courriel est confuse et il faut essayer de retracer son raisonnement. Ce n’est pas facile, c’est une montée en compétence que nous n’avions pas anticipée. Notre solution ne fait pas que simplifier les choses, elle ajoute aussi de la complexité ». En l’absence d’explications, les travailleurs ne peuvent pas juger de la proposition du système. Ils sont alors contraints d’arbitrer entre le jugement du système et leur propre jugement : « Parfois, le jugement du système d’IA est tellement différent et si incompréhensible que cela ressemble à une grosse blague, explique un utilisateur. Nous rions beaucoup mais ensuite nous arrêtons de l’utiliser ». S’il existe une définition générale de l’explicabilité, chaque profession ou activité impose de penser une approche contingente. Cette « explicabilité métier » ou « située » doit être définie en collaboration avec les travailleurs. Plusieurs cas d’utilisation développent ainsi l’explicabilité en communiquant la qualité des données utilisées par le système d’IA afin de faciliter sa compréhension par l’utilisateur. « Nous rendons compte de l’analyse de la qualité des données à nos clients, dit un concepteur. C’est bien de le faire parce que notre produit final n’est pas seulement la prédiction, mais aussi l’analyse de la qualité des données, à la fois quantitative et qualitative et nous en faisons part à nos clients, c’est donc très important ». C’est tout le sens de notre 4^e recommandation, « Construire une « explicabilité située » d’un système d’intelligence artificielle » : donner les éléments d’informations nécessaires pour que le travailleur maintienne sa capacité de jugement intact. L’apprentissage profond (deep learning) ne doit pas couper l’accès des travailleurs aux causes profondes !

Prochain article : AI pour Accompagnement Indépendant

Auteur :  Yann Ferguson – Icam Expert chez Global Partnership on Artificial Intelligence

[1] Voir son portrait écrit par Tristan Gaston-Breton dans les Echos (28 juillet 2016), Taiicchi Ohno, la révolution du « juste à temps ».
[2] https://www.confiance.ai/. Mon école, l’Icam est partenaire de Spix Industry sur ce programme.
[3] Voir l’article de Moustafa Zouinar, Évolutions de l’Intelligence Artificielle : quels enjeux pour l’activité humaine et la relation Humain‑Machine au travail ?, Activités, 17-1, 2020.