La firme chinoise Espressif, connue notamment pour ses microcontrôleurs basse consommation et ses puces-systèmes compatibles Wi-Fi, Bluetooth et Bluetooth Low Energy, lance une plateforme logicielle baptisée Private AI Agents, optimisée pour la création et la gestion d'agents d’intelligence artificielle (IA) implantables sur des appareils embarqués connectés.

Rappelons qu'un agent d’IA est une implantation logicielle embarquée qui combine de grands modèles de langage (LLM) avec une couche d'appel d'outils. Cette couche permet de lire et de modifier l'état des appareils, d'invoquer des API (Application Programming Interface ou interface de programmation d’application), d'accéder à une base de connaissances et de prendre des décisions contextuelles.

Pour les fabricants d’appareils cette approche ouvre la voie à de nouvelles fonctionnalités : assistants intelligents dans les applications, interfaces vocales multilingues naturelles pour le contrôle des appareils, assistance client intelligente exploitant l'état réel des appareils et la documentation produit de référence, et enfin, intelligence ambiante alimentée par les événements provenant de capteurs, de règles dans le cloud et autres services.

Dans ce cadre, Espressif indique que concevoir une implémentation d'agent pour les systèmes IoT exige une attention particulière vis-à-vis de la modalité choisie - texte, parole… - de l’évolutivité souhaitées et de la gestion du couple sécurité/sûreté.

C'est pourquoi, selon toujours selon Espressif, la plateforme Private AI Agents est construite sur les services cloud AWS (Amazon Web Services) utilisant AWS Fargate comme plateforme applicative principale et Amazon Bedrock Foundation Models comme système de grand modèle de langage LLM en backend.

Concrètement, un agent se compose d'une sélection LLM, d'une invite système, rédigée en langage naturel et définissant son comportement, ainsi que d'un ensemble d'outils lui permettant d'effectuer des actions.

Le tableau de bord d'administration des agents IA (disponibles après d’Espressif) permet alors de créer et de configurer ces agents à l'aide de modèles prédéfinis ou en les définissant entièrement de A à Z.

Dans ce cadre, les outils sont des actions modulaires qu'un agent peut invoquer pour effectuer des tâches spécifiques. Plusieurs outils prédéfinis sont disponibles dans la plate-forme Private AI Agents, tels ESP RainMaker (contrôle du volume et détection des émotions) et il est possible de créer des outils personnalisés adaptés à chaque application.

 

 

La plateforme prend en charge des outils distants grâce à la prise en charge du MCP (Model Context Protocol), permettant aux fabricants d'appareils d'intégrer leurs agents à un écosystème beaucoup plus vaste de services et d'outils tiers compatibles MCP.

La plateforme prend également en charge l'authentification OAuth auprès des serveurs MCP, permettant une connexion sécurisée et l'accès au contexte utilisateur lorsque nécessaire.

Enfin, la plate-forme supporte dans le même temps des outils locaux qui permettent d'exécuter des appels d'outils directement sur l'appareil IoT lui-même. Ces outils autorisent notamment les agents à déclencher des actions en temps réel au niveau de l'appareil, sans intégration côté serveur.

Ce processus global de définition des agents permet ainsi aux développeurs de choisir parmi une gamme de modèles AWS Bedrock Foundation pris en charge, autorisant un contrôle sur les performances, les coûts et le comportement de l’application.

Chaque modalité d'interaction - voix et texte - peut se voir attribuer son propre LLM, permettant des configurations optimisées telles que des modèles légers pour les interfaces vocales conversationnelles et des modèles plus performants pour le raisonnement textuel complexe.

Cette flexibilité garantit, selon Espressif, que chaque agent peut être adapté précisément à son cas d'utilisation tout en maintenant un déploiement et une gouvernance cohérents au sein de l'environnement cloud de l’utilisateur.

Au-delà, chaque agent qu'il soit créé à partir d'un modèle ou entièrement personnalisé, inclut une invite système. Celle-ci définit le comportement de l'agent et établit sa personnalité, par exemple un contrôleur vocal, un narrateur ou un assistant de support client.

Lorsque un agent ainsi créé et appelé, le tableau de bord génère automatiquement une invite système initiale à l'aide du LLM. Lors des interactions, la requête de l'utilisateur est combinée à cette invite système, guidant ainsi le LLM pour qu'il raisonne et réponde conformément au rôle prévu de l’agent

Une fois l’agent configuré, il est possible de l'exécuter sur du matériel physique à l'aide de l'un des trois kits de développement compatibles chez Espressif : EchoEar, ESP32-S3-Box et M5Stack Core S3.