[EDITION ABONNES] Afin d’exploiter tout le potentiel de l’apprentissage profond (deep learning) de nouvelle génération, il faut que l’infrastructure de gestion des algorithmes d’intelligence artificielle (IA) mise en œuvre soit hautement efficace. Pour que cette plate-forme informatique soit évolutive et rentable, il est essentiel d’optimiser chaque couche de la “pile” IA, des algorithmes jusqu’aux ressources matérielles.

Les progrès dans les formats de données IA de précision étroite et les algorithmes optimisés associés ont joué un rôle essentiel dans ce parcours, permettant à l'industrie de passer d'une précision traditionnelle de 32 bits en virgule flottante à une précision actuelle de seulement 8 bits, une approche formalisée par la spécification OCP FP8 publiée cette année par l’Open Compute Project.

Pour aller encore plus loin, AMD, Arm, Intel, Meta, Microsoft, Nvidia et Qualcomm Technologies ont formé en 2023 l'alliance Microscaling Formats (MX) dans le but de créer et de normaliser les types de données 6 et 4 bits de nouvelle génération pour l'IA. La technologie clé qui permet aux formats inférieurs à 8 bits de fonctionner, appelée ici micro-échelle (microscaling), s'appuie sur des années de recherche dans l'espace de conception. L’idée sous-jacente avec MX est d’améliorer la robustesse et la facilité d'utilisation des formats 8 bits existants tels que FP8 et INT8, réduisant ainsi les obstacles à une adoption plus large de l'inférence sur les bits à un chiffre.

La spécification MX initiale introduit quatre formats de données concrets à virgule flottante et à base d'entiers (MXFP8, MXFP6, MXFP4 et MXINT8) qui sont compatibles avec les piles IA actuelles. Des études approfondies ont montré que les formats MX peuvent être déployés dans de nombreux cas réels, tels que les grands modèles de langage, la vision par ordinateur et les systèmes de recommandation. La technologie MX permet également un pré-entraînement des langages LLM avec des précisions de 6 et 4 bits sans aucune modification des recettes d'entraînement conventionnelles.

Pour rappel, des formats de données plus étroits permettent au silicium d'exécuter des calculs IA plus efficaces par cycle d'horloge, ce qui accélère les temps d'apprentissage et d'inférence des modèles. Les modèles IA occupent ainsi moins d'espace, ce qui signifie qu'ils nécessitent moins d'extractions de données en mémoire et peuvent fonctionner avec de meilleures performances. De plus, la diminution du nombre de transferts de bits réduit les flux de données à travers les interconnexions, ce qui peut améliorer les performances des applications ou réduire les coûts du réseau.

Dans le paysage en évolution de l’IA, les normes ouvertes sont essentielles pour favoriser l’innovation, la collaboration et une adoption généralisée. Elles apportent un cadre unificateur qui permet des chaînes d'outils, un développement de modèles et une interopérabilité cohérents dans l'ensemble de l'écosystème de l'IA.

Dans cet esprit, la MX Alliance vient de publier la première spécification Microscaling Formats (MX) v1.0 dans un format ouvert et sans licence via l'Open Compute Project Foundation. A cette occasion, un livre blanc et des bibliothèques d'émulation ont été publiés pour fournir des détails sur cette approche.

« AMD, membre fondateur de l'alliance MX, a été un contributeur clé à la spécification OCP MX v1.0, précise Michael Schulte, chercheur chez AMD. Cette collaboration industrielle visant à standardiser les formats de données MX représente une étape importante dans l'unification et la normalisation des formats de données émergents de moins de 8 bits et apporte aux développeurs une approche ouverte pour les innovations en matière d'IA avec des besoins en mémoire réduits. »