IA pour l’embarque : Axelera AI apporte les modèles de langage de vision dans l’Edge avec une carte au format M.2

Carte M.2 Max d'Axelera AI

La firme néerlandaise Axelera AI, fournisseur de technologies d'accélération matérielle d’intelligence artificielle (IA) pour le domaine de l’embarque, annonce la carte Metis M.2 Max, au format M.2, un ajout à la famille d'unités de traitement d’intelligence artificielle Metis de la société.

Affichant les performances d'une carte PCIe, la Metis M.2 Max est conçue pour les applications d'inférence d'IA les plus gourmandes en calcul en périphérie de réseau (Edge) en apportant notamment de meilleures performances pour la gestion des grands modèles de langage (LLM, Large Language Model) et des réseaux de transformateurs de vision.

La Metis M.2 Max d'Axelera AI est un module M.2 fondé sur le Metis AIPU (Artificial Intelligence Processor Unit, unité de traitement d'informations d'intelligence artificielle) de la société. Cette carte améliore la carte Metis M.2 actuelle avec une bande passante mémoire doublée, un profil plus fin, des fonctionnalités de gestion thermique avancées et des capacités de sécurité supplémentaires. Elle dispose notamment d'une mémoire allant jusqu'à 16 Go et est capable de fonctionner dans les plages de températures -20 °C à +70 °C et -40 °C à +85 °C, pour les environnements difficiles.

Pour rappel, selon Axelera AI, son AIPU (AI Processing Unit) Metis se déploie autour d’une architecture quadricœur, chaque cœur pouvant exécuter toutes les couches d’un réseau de neurones standard sans interactions externes, pour fournir une puissance de traitement IA de 53,5 Tops, une seule puce Metis procurant ainsi une puissance globale de 214 Tops.

Selon Axelera, la carte M.2 Max procure une amélioration des performances de 33 % dans le traitement des réseaux de neurones convolutifs (CNN) et le double du nombre de jetons par seconde pour les LLM et les VLM (Vision Language Model) , tout en restant dans une plage de puissance moyenne typique de 6,5 W. Au cœur du fonctionnement de chaque cœur, on trouve le moteur D-IMC (Digital In-Memory Computing) d'Axelera qui accélère les opérations de multiplication matrice-vecteur et qui, selon la société, offre un niveau d’efficacité énergétique de l'ordre de 15 Tops/W pour une précision de calcul INT8.

La sécurité étant primordiale en périphérie de réseau, la Metis M.2 Max intègre en outre des fonctionnalités de sécurité améliorées, notamment la protection de l'intégrité du micrologiciel à travers une racine de confiance provisionnée de manière sécurisée, assurant le démarrage de la plate-forme et des capacités de mise à niveau sécurisés.

Ces fonctions de sécurité travaillent en arrière plan de manière transparente, ne nécessitant aucune intervention de l'utilisateur, tout en garantissant que seul le micrologiciel authentifié émis par Axelera AI s'exécute sur les systèmes des utilisateurs.

La carte Metis M.2 Max, conforme au standard M-key M.2 2280 (22 m de large sur 80 mm de long) sera disponible sous forme de carte autonome ou avec un dissipateur thermique à profil bas en option. Cette conception réduit la hauteur de la carte de 27 % par rapport à la carte M.2 actuelle, délivrant ainsi, selon Axelera, une plus grande variété de configurations. De plus, pour les utilisateurs qui ont besoin de d'IA dans des déploiements soumis à des contraintes énergétiques ou thermiques, une sonde de puissance intégrée permet d'ajuster automatiquement les performances à des paramètres spécifiques, indique la société.

« Notre objectif avec nos cartes Metis M.2 Max et Metis M.2 originale est de permettre aux utilisateurs de déployer des applications d'IA transformatrices à grande échelle en périphérie de réseau, précise Fabrizio del Maffeo, PDG d'Axelera AI. L’objectif est d’autoriser les développeurs à choisir la solution la mieux adaptée à leurs besoins, de la vision par ordinateur jusqu'aux modèles de langage volumineux, en passant par les derniers modèles de transformateurs. Nous y ajoutons également une sécurité renforcée pour mieux répondre aux menaces cyber croissantes dans l’Edge ».