L’angle mort des voitures autonomes : une faille de sécurité. C’est un angle mort dans le développement des véhicules autonomes (VA) : contrairement aux promesses en matière de sécurité routière, le nombre de morts qu’ils engendrent pourrait fortement augmenter dans les prochaines années. En effet, la génération actuelle de VA est pilotée par une intelligence artificielle (IA) dite « à apprentissage profond » (deep learning), qui est d’une grande efficacité pour percevoir des objets et situations sur la route mais qui, à elle seule ne suffit pas à assurer un haut degré de sécurité.
Dans un tel système d’apprentissage, c’est la régularité des relations entre les données d’entraînement qui permet d’extrapoler les prédictions à d’autres données et ainsi produire une impression d’intelligence artificielle. L’utilité de ces systèmes est très grande car ils permettent la mise au point d’applications informatiques sans le recours à du développement algorithmique classique, et donc la confier à des spécialistes de sciences des données qui n’ont pas à maîtriser les arcanes de la programmation ni la logique de sa vérification.
Plus de 700 000 morts aux États-Unis ?
Or, ces systèmes n’ont pas de représentation logique des données, ce qui implique une certaine absence de jugement, ni de vraie représentation des intentions des autres usagers de la route. Lorsqu’on lui confie la conduite et non seulement la navigation, un véhicule autonome peut conduire à de réels problèmes de circulation.
Aux États-Unis, 25 morts « en rapport avec l’utilisation de l’IA dans les véhicules » seraient déjà à déplorer entre 2016 et 2023 selon l’experte en sécurité routière Mary L. Cummings, qui a résumé le problème en une phrase clé dans un travail de recherche récent :
« Une estimation probabiliste ne vaut pas une décision prise dans un contexte d’incertitude »
Dans un contexte de forte compétition industrielle et d’enjeux économiques gigantesques, le professeur Cummings rapporte par ailleurs avoir bravé des menaces à son intégrité physique en s’exprimant publiquement sur les dangers de l’IA automobile.
D’après le site TechChrunch, il y aurait eu environ 1 400 véhicules autonomes en circulation aux États-Unis en 2022, un nombre très réduit pour le moment. Les 25 morts accidentelles sont déjà inacceptables mais surtout très inquiétantes si on les rapporte au nombre de VA qui reste négligeable à l’heure actuelle. Ainsi le nombre de décès liés aux VA pourrait à l’avenir exploser si rien n’est fait pour corriger la situation. Si le chiffre avancé par Cummings de 25 morts dues aux VA est avéré sur une période de 7 ans, cela représenterait déjà 3,57 morts par an ou 0,00255 mort par an et par véhicule.
Pour imaginer l’effet d’une arrivée massive de VA munis d’IA sur nos routes, nous pouvons effectuer la projection suivante. Selon statista.com, on a immatriculé 285 millions de véhicules aux États-Unis en 2022. Si chaque véhicule est conservé par son propriétaire au moins deux ans, cela représente près de 600 millions de véhicules en circulation.
Or, si un jour 50 % des véhicules en circulation deviennent des VA, et qu’on retrouvait alors 300 millions de VA sur les routes, leur circulation devrait causer environ 300M x 0,00255 = 765 000 morts par an aux États-Unis… Même si on suppose que la fiabilité des VA s’améliore par un facteur 10, chiffre optimiste et hypothétique, il y aurait tout de même 76 500 morts par an ce qui est humainement et économiquement inacceptable ! Si l’on compare cela avec la situation actuelle de 42 000 morts en 2022 sur les routes américaines, on peut s’interroger sur les enjeux de sécurité et en quoi l’utilisation massive de VA peut justifier une telle augmentation de la mortalité.
Il faut espérer que cette estimation catastrophique ne se réalise pas. En tout état de cause, Roger L. McCarthy, un consultant spécialisé en ingénierie du risque affirme sobrement que :
« l’analyse des données en Californie porte à croire que les VA ne vont pas réduire la fréquence des accidents mais probablement la pousser à la hausse ».
L’exemple de l’avion et du train
Comment dès lors, mieux protéger les futurs passagers des VA, ainsi que les autres usagers de la route ? Une source d’inspiration peut être trouvée dans le développement de logiciels embarqués des avions et des trains, réputés beaucoup moins dangereux que les véhicules routiers.
Dans ces modes de transports, le développement de logiciels embarqués est soumis à de très rigoureuses méthodes dites « formelles » de test, modélisation et de vérification mathématique. Des ingénieurs et chercheurs français d’Airbus ont par exemple réalisé des vérifications formelles de systèmes de commande de vol. Les passagers des trains français peuvent eux se réjouir d’apprendre que les méthodes formelles du logiciel sont appliquées aux systèmes de conduite. Ce type de modélisation et de vérification augmente sensiblement le niveau de fiabilité des logiciels critiques auquel on confie de nombreuses vies humaines.
Même si des avancées dans l’ergonomie des méthodes formelles ont été enregistrées globalement ces dernières années, elles restent encore marginales dans le domaine de l’automobile. Cependant, le développement des nouvelles fonctionnalités de conduite assistée pousse les industriels et chercheurs en ce sens.
Huawei travaille en partenariat avec l’Université de Grenoble
Une équipe de recherche française de l’équipementier chinois d’infrastructures numériques Huawei travaillant en partenariat avec l’Université de Grenoble, applique des méthodes formelles à la vérification des éléments logiciels qui guident par exemple le freinage, les phares ou encore l’accélération. Pour cela, comme pour le système d’exploitation, il faut des exigences de fonctionnement spécifiées en un format mathématique dit de « logique temporelle », c’est-à-dire qui considère toutes les évolutions possibles des comportements au fil du temps.
Mais malheureusement, les ingénieurs logiciels de l’automobile ne sont pas tous formés à la logique temporelle ou aux méthodes formelles. Le développement de VA à base d’IA qui intègrent ces méthodes – des VA plus sûrs – risque donc d’être freiné par un manque de personnel qualifié et de temps.
La contribution de la recherche française
Par un curieux retour du destin, l’IA peut aider à résoudre ce problème. En notation mathématique, les formules de logique temporelles sont précises mais pénibles à rédiger, peu intelligibles, et nécessitent un apprentissage qui peut s’avérer long et coûteux.
Pour contourner cette difficulté, l’utilisation d’IA générative, capable de générer du contenu sur commande, peut produire des formules logiques à partir de langue naturelle (la langue courante qui s’oppose au langage informatique). Mais pour limiter les risques de traduction incorrecte en langage informatique et logique, notre approche consiste à définir un langage « pseudo naturel » (à partir d’un anglais stéréotypé) qui se traduit précisément et sans ambiguïté vers des formules de logiques temporelles décrivant un comportement automobile.
Dans nos récents travaux, nous avons montré qu’il est possible de passer d’exigences en langage naturel stéréotypé vers des formules de logique temporelle qui peuvent à leur tour être soumises à des outils de démonstration mathématique automatisée. Ces travaux ont d’ailleurs mené au dépôt d’un brevet international.
Ce genre de recherches dites « IA pour la sûreté du logiciel » combine la facilité de développement de l’apprentissage machine, à la sûreté et la complétude des méthodes logiques. D’autres universités françaises apportent aujourd’hui des contributions essentielles aux avancées dans ce sens. Par exemple le laboratoire Spécification et Vérification de l’ENS Paris-Saclay peut se targuer d’une renommée mondiale.
La multiplication de ces projets apparaît aujourd’hui essentielle pour que la transition vers une IA embarquée plus sûre se fasse sans tuer les usagers de la route. Notre propos n’est pas de critiquer les VA car leur utilité sociale et industrielle est indéniable. Mais nous devons attirer l’attention sur les dangers que posent une mauvaise réalisation de leurs fonctions de pilotage, et les solutions techniques que la recherche en sûreté du logiciel peut y apporter.
Gaétan Hains
Professeur d’informatique, Université Paris-Est Créteil Val de Marne. Créative Commons.
