Prendre en charge le charge le développement et la maintenance des applications d’intelligence artificielle (IA), l'inférence en conditions réelles, et la surveillance de la dérive des données et des performances tels sont les objectifs assignés par le fournisseur de solutions de test et mesure américain Keysight à son outil AI Software Integrity Builder.

Cette solution logicielle a été conçue, selon Keysight, pour transformer la façon dont les systèmes intégrant de l’IA sont validés et entretenus afin de garantir leur fiabilité.

Alors que la surveillance réglementaire s'intensifie et que le développement de l'IA devient de plus en plus complexe, la solution proposée par Keysight vise à procurer une "assurance IA" transparente, adaptable et fondée sur les données pour les environnements critiques en matière de sécurité, comme l'automobile.

En d’autres termes, avec l'AI Software Integrity Builder, Keysight veut unifier les tests fragmentés existants en une véritable stratégie d'"assurance IA", autorisant le déploiement de systèmes performants, transparents, auditables et conformes dès la conception.

Keysight indique que les systèmes IA fonctionnent comme des entités complexes et dynamiques, avec des processus de décision internes souvent opaques. Ce manque de transparence crée des problèmes importants à résoudre pour les secteurs tels que l'automobile qui doivent démontrer la sécurité, la fiabilité et la conformité réglementaire de leur code embarqué y compris les algorithmes d’IA.

Les développeurs peinent alors à diagnostiquer les limites des ensembles de données ou des modèles, tandis que les normes émergentes, telles que l’ISO/PAS 8800 pour l'automobile et les réglementation européennes sur l'IA, exigent l'applicabilité et la validation sans prescrire de méthodes claires.

Au-delà, selon Keysight, des chaînes d'outils fragmentées compliquent encore les flux de travail d'ingénierie et augmentent le risque de lacunes de conformité. A ce niveau, l’environnement AI Software Integrity Builder introduit un cadre unifié qui répond, selon Keysight, à la question suivante jugée cruciale : Que se passe-t-il à l'intérieur du système d'IA, et comment puis-je garantir qu'il se comporte en toute sécurité lors du déploiement ?

Dans ce cadre, la solution fournit aux équipes d'ingénierie les preuves nécessaires pour la conformité réglementaire et autorise une amélioration continue des modèles d'IA. Toujours selon Keysight, contrairement aux chaînes d'outils fragmentées qui traitent des aspects isolés des tests d'IA, l'approche intégrée de l’outil couvre l'analyse des ensembles de données, la validation des modèles, les tests d'inférence en conditions réelles et la surveillance continue.

Exemple d'analyse de zone de chevauchement entre les ensembles de données d'entraînement et de validation.

Concrètement, l’environnement AI Software Integrity Builder intègre une analyse des jeux de données, ce qui permet d’étudier la qualité des données à l'aide de méthodes statistiques pour détecter les biais, les lacunes et les incohérences qui pourraient affecter la performance du modèle.

Il propose aussi une validation fondée sur le modèle ce qui permet d’expliquer les décisions du dit modèle et de révéler les corrélations cachées, permettant aux développeurs de comprendre les schémas et les limites d'un système d'IA.

Enfin, l'AI Software Integrity Builder apporte une fonction de tests fondés sur l'inférence ce qui permet d’évaluer le comportement des modèles dans des conditions réelles, détecter les écarts par rapport au comportement d'entraînement et recommander des améliorations pour les itérations futures.

Alors que les outils open source et les solutions de fournisseurs n'abordent généralement que des aspects isolés des tests d'IA, l’ambition de Keuysight avec cet environnement est de combler l’écart existant entre la formation et le déploiement. La solution valide non seulement ce qu'un modèle a appris, mais aussi ses performances dans des scénarios opérationnels, un prérequis essentiel pour les applications à haut risque comme la conduite autonome dans l’automobile.

« L’"assurance de l’IA" et la sécurité fonctionnelle des véhicules deviennent des défis critiques, souligne Thomas Goetzl, Vice President and General Manager of Keysight's Automotive & Energy Solutions. Si les normes et les cadres réglementaires fixent les objectifs, ils n'expliquent pas comment parvenir à un déploiement fiable. En combinant notre expertise en test et mesure avec des capacités avancées de validation, Keysight met à disposition des développeurs les outils nécessaires pour bâtir des systèmes d'IA dignes de confiance, preuves de sécurité à l'appui et en totale conformité.»