Les microcontrôleurs Ensemble E4/E6/E8 de la firme américaine Alif Semiconductor, fournisseur de circuits destinés aux applications à base d’intelligence artificielle et d'apprentissage automatique (IA/ML), sont les premiers de l’industrie, selon la société, à fournir une accélération matérielle pour les réseaux de transformateurs (*) autorisant une inférence générative locale de l’IA sur les appareils en périphérie de réseau (l’Edge).

En collaboration avec Arm, Alif a fait la démonstration, lors de la conférence PyTorch qui s’est tenue les 22 et 23 octobre à San Francisco, de modèles d’IA générative compilés avec le moteur d’exécution ExecuTorch fonctionnant sur le circuit Ensemble E8 à deux coeurs Arm Cortex-A32. Ce moteur d’exécution ExecuTorch, disponible désormais pour les développeurs qui trvavaillent sur les architectures d’Alif, est une extension de quantification du cadre d’apprentissage automatique (ML, Machine Learning) de l’environnement ML PyTorch, pour les applications d’IA.

ExecuTorch permet notamment aux développeurs de modèles IA destinés à des cibles matérielles à ressources limitées, telles que les MCU, d’utiliser le cadre PyTorch pour créer des modèles légers qui prennent en charge une inférence à faible latence et haute précision.

En d’autres termes, puisque les micrcontrôleurs Ensemble E4, E6 et E8 d’Allié intègrent dans leur architectures le processeur neuronal (NPU, Neuronal Processor Unit) Arm Ethos-U85 qui prend en charge les réseaux ML fondés sur des transformateurs, les développeurs peuvent désormais utiliser PyTorch et le moteur d’exécution ExecuTorch pour créer des applications d’IA générative à exécuter localement dans des terminaux sur batterie, tels que des lunettes connectées, des interfaces homme-ordinateur, des dispositifs de santé et de diagnostic, des systèmes robotique, les maisons intelligentes et les équipements des villes intelligentes.

Lors de la conférence PyTorch, Alif indique qu’Arm a présenté des exemples d’applications d’IA générative compilées avec ExecuTorch et exécutées sur le processeur de fusion Ensemble E8 d’Alif. A savoir, des petits modèle de langage fonctionnant sur Ensemble E8 capable de générer des histoires adaptées aux enfants en réponse à des invites visuelles, et extensible à des invites verbales. Ou encore un modèle de conversion de la parole en texte en temps réel adaptés à l’intégration dans des appareils portables tels que les lunettes connectées. Cette version de démonstration effectue une transcription en temps réel de la parole pour permettre le sous-titrage en direct.

« L’innovation nous maintient à la pointe de l’IA en périphérie de réseau qui s’étend désormais dans l’ère de l’IA générative, commente Reza Kazerounian, président d’Alif Semiconducto. Avec la prise en charge native du moteur d’exécution ExecuTorch sur nos microcontrôleurs Ensemble, nous avons pour ambition d’élargir les possibilités de l’IA au niveau des microcontrôleurs intégrés dans des appareils embarqués intelligents de nouvelle génération.»

« L’IA générative en périphérie permet de créer une nouvelle catégorie d’appareils intelligents, sur batterie, capables de comprendre et de réagir en temps réel, complète Paul Williamson, vice-président sénior et directeur général, département IoT chez ARM. Grâce au cadre ExecuTorch, les développeurs peuvent déployer efficacement des modèles PyTorch sur des microcontrôleurs comme ceux d’Alif pour une inférence basse consommation sur l’appareil. »

Alif indique en outre que la carte de développement Alif DK-E8 utilisée dans les démonstrations lors de la conférence PyTorch qui prend en charge les développements sur l’ensemble de la série E4/E6/E8, est d’ores est déjà disponible.

(*) Un modèle de transformateur (transformer) est un réseau neuronal qui apprend le contexte de données séquentielles pour en générer de nouvelles qui tiennent compte de cette analyse.