
L’IA générative locale vient à la Raspberry Pi 5 avec un module HAT qui atteint 40 TOPS La fondation Raspberry Pi, en charge du développement de la plate-forme ouverte éponyme, annonce avoir franchit un cap dans le domaine de l’intelligence artificielle (IA) vers le plus grand nombre en dévoilant un module additionnel HAT (), le premier selon la fondation à cibler les applications d’IA de type IA générative locale. Ce module baptisé AI HAT+ 2 est donc une carte d'extension d'une dimension de 56,7 mm sur 65,1 mm, conçue pour le traitement des tâches d’IA générative sur une Raspberry Pi 5 avec des performances affichées de 40 TOPS. Cette carte complète la gamme existante des modules HAT pour l’IA, les HAT+, conçus comme des accélérateurs de vision pour les pipelines de traitement privilégiant les caméras (détection d'objets, segmentation… ) et capables de délivrer des performances de 13 et 26 TOPS pour des algorithmes d’IA. Mais incapables d'exécuter des modèles de langage (LLM, Large Language Model) et de vision complexes, ce que le fait le AI HAT+. Au coeur de cette carte on trouve l'accélérateur de réseau neuronal Hailo-10H spécifiquement destiné à l’IA générative (GenAI)de la société israélienne Hailo Technologies qui développe et commercialise des processeurs pour apprentissage en périphérie de réseau (edge). Contrairement aux modèles précédents qui s'appuyaient sur la mémoire vive de la plate-forme Raspberry Pi, l'AI HAT+ 2 intègre 8 Go de mémoire vive LPDDR4X embarqué pour le traitement de l’IA. Ce qui procure à l'accélérateur la possibilité de manipuler des modèles beaucoup plus volumineux sans saturer la mémoire de la carte Raspberry Pi 5 porteuse. Cette approche privilégie le calcul local en périphérie de réseaux (Edge Computing) garantissant ainsi la confidentialité des données, une sécurité accrue et une latence réduite, tout en éliminant les coûts liés aux abonnements des solutions dans le cloud. L'AI HAT+ 2 fait tourner des modèles de langage et des modèles de vision (VLM, Vision LAnguage Module) jusqu’à 7 milliards de paramètres. Bien que ces modèles soient plus compacts que ceux exécutés dans le cloud, ils sont optimisés pour fonctionner sur des jeux de données spécifiques. Plusieurs modèles sont déjà supportés pour une installation immédiate sur la carte : DeepSeek-R1-Distill, Llama 3.2, Qwen version 2 et 2.5, tous dotés de 1,5 milliard de paramètres. Au-delà, la carte supporte une technologie de réglage fin des modèles (Low-Rank Adaptation) ainsi que l’outil Dataflow Compiler d’Hailo. Le module Raspberry Pi AI HAT+ 2 est connecté à un Raspberry Pi 5 à travers un port PCIe, associant ainis un accélérateur Hailo à de la mémoire embarquée. () HAT - Hardware Attached on Top - est le nom donné par la communauté Raspberry PI aux cartes additionnelles installées sur une plate-forme Raspberry Pi

L’IA générative locale vient à la Raspberry Pi 5 avec un module HAT qui atteint 40 TOPS

La fondation Raspberry Pi, en charge du développement de la plate-forme ouverte éponyme, annonce avoir franchit un cap dans le domaine de l’intelligence artificielle (IA) vers le plus grand nombre en dévoilant un module additionnel HAT (*), le premier selon la fondation à cibler les applications d’IA de type IA générative locale.

Ce module baptisé AI HAT+ 2 est donc une carte d'extension d'une dimension de 56,7 mm sur 65,1 mm, conçue pour le traitement des tâches d’IA générative sur une Raspberry Pi 5 avec des performances affichées de 40 TOPS.

Cette carte complète la gamme existante des modules HAT pour l’IA, les HAT+, conçus comme des accélérateurs de vision pour les pipelines de traitement privilégiant les caméras (détection d'objets, segmentation… ) et capables de délivrer des performances de 13 et 26 TOPS pour des algorithmes d’IA. Mais incapables d'exécuter des modèles de langage (LLM, Large Language Model) et de vision complexes, ce que le fait le AI HAT+.

Au coeur de cette carte on trouve l'accélérateur de réseau neuronal Hailo-10H spécifiquement destiné à l’IA générative (GenAI)de la société israélienne Hailo Technologies qui développe et commercialise des processeurs pour apprentissage en périphérie de réseau (edge).

Contrairement aux modèles précédents qui s'appuyaient sur la mémoire vive de la plate-forme Raspberry Pi, l'AI HAT+ 2 intègre 8 Go de mémoire vive LPDDR4X embarqué pour le traitement de l’IA. Ce qui procure à l'accélérateur la possibilité de manipuler des modèles beaucoup plus volumineux sans saturer la mémoire de la carte Raspberry Pi 5 porteuse.

Cette approche privilégie le calcul local en périphérie de réseaux (Edge Computing) garantissant ainsi la confidentialité des données, une sécurité accrue et une latence réduite, tout en éliminant les coûts liés aux abonnements des solutions dans le cloud.

L'AI HAT+ 2 fait tourner des modèles de langage et des modèles de vision (VLM, Vision LAnguage Module) jusqu’à 7 milliards de paramètres. Bien que ces modèles soient plus compacts que ceux exécutés dans le cloud, ils sont optimisés pour fonctionner sur des jeux de données spécifiques.

Plusieurs modèles sont déjà supportés pour une installation immédiate sur la carte : DeepSeek-R1-Distill, Llama 3.2, Qwen version 2 et 2.5, tous dotés de 1,5 milliard de paramètres.

Au-delà, la carte supporte une technologie de réglage fin des modèles (Low-Rank Adaptation) ainsi que l’outil Dataflow Compiler d’Hailo.

Le module Raspberry Pi AI HAT+ 2 est connecté à un Raspberry Pi 5 à travers un port PCIe, associant ainis un accélérateur Hailo à de la mémoire embarquée.

(*) HAT - Hardware Attached on Top - est le nom donné par la communauté Raspberry PI aux cartes additionnelles installées sur une plate-forme Raspberry Pi