[APPLICATION ANALOG DEVICES] Les systèmes robotiques recourent de plus en plus à la vision pour percevoir et interagir avec leur environnement, ce qui génère une demande croissante de liaisons de données à haut débit et faible latence. La liaison série multimédia gigabit GMSL (Gigabit Multimedia Serial Link) procure a ce niveau une solution prometteuse en transmettant avec efficacité les vidéos, les signaux de contrôle et l’électricité à travers un câble unique. Comment les caméras sont déployées dans les systèmes robotiques ? Quels problèmes de connectivité doivent être résolus ? Comment la technologie GMSL permet de mettre en œuvre des plateformes robotiques évolutives, robustes et axées sur la performance. Réponses en détail d’Analog Devices.

 

Auteur : Kainan Wang

Ingénieur d’applications systèmes

Analog Devices

 

Les systèmes robotiques s’appuient de plus en plus sur la vision machine avancée pour percevoir, explorer et interagir avec leur environnement. La résolution et le nombre croissants des caméras entraînent une demande sans précédent de liaisons à haut débit et faible latence capables de transmettre et d’agréger des données vidéo en temps réel. Développée à l’origine pour des applications automobiles, la liaison série multimédia gigabit GMSL apparaît comme une solution puissante et efficace pour les systèmes robotiques.

Pour rappel, la technologie GMSL transmet des données vidéo à haut débit, des signaux de contrôle bidirectionnels et l’électricité via un câble unique, offrant ainsi une liaison filaire longue portée et une latence déterministe de l’ordre de la microseconde avec un taux d’erreur binaire (BER, Bit Error Rate) extrêmement faible. Elle simplifie le câblage et réduit l’encombrement total de la solution, ce qui est idéal pour les robots utilisant la vision dans des environnements dynamiques et souvent difficiles.

Les paragraphes qui suivent indiquent où et comment les systèmes robotiques utilisent les caméras, les problèmes de données et de connectivité auxquels ces applications sont confrontées, et comment un dispositif GMSL peut aider les concepteurs de systèmes à bâtir des plateformes robotiques à haute performance, fiables et évolutives.

Où les caméras sont-elles utilisées en robotique ?

Les caméras sont au cœur de la perception robotique moderne, car elles permettent aux machines de comprendre et de réagir à leur environnement en temps réel. Qu’il s’agisse d’un robot d’entrepôt qui se déplace dans des allées, d’un bras robotique qui trie des paquets ou d’un robot de service qui interagit avec des personnes, les systèmes de vision jouent un rôle essentiel pour l’autonomie, l’automatisation et l’interaction.

Ces caméras présentent des fonctions et des formes diverses : elles sont montées sur différentes parties du robot, en fonction de leur tâche, et adaptées aux contraintes physiques et opérationnelles de la plateforme.

 

 

Schéma d’un système de vision robotique multimode mis en œuvre avec la technologie GMSL

 

Dans les systèmes robotiques autonomes, les caméras sont les yeux de la machine. Elles lui permettent de percevoir ce qui l’entoure, d’éviter les obstacles et de se repérer dans un environnement donné.

Les robots mobiles (robots de livraison, navettes d’entrepôt ou robots agricoles, par exemple) sont souvent équipés de plusieurs caméras à champ de vision large qui sont installées sur les coins ou les bords du robot. Ces systèmes de vision circulaire offrent une vue à 360° qui aide le robot à circuler dans des espaces complexes en évitant toute collision.

D’autres applications d’autonomie utilisent des caméras orientées vers le bas ou le haut pour lire des marquages au sol, au plafond ou sur les murs. Ces marquages sont en quelque sorte des panneaux indicateurs qui permettent aux robots d’ajuster leur position ou de déclencher des actions spécifiques pendant leurs déplacements à travers des environnements structurés, tels que des usines ou des hôpitaux.

Des systèmes plus avancés disposent de caméras de vision stéréo ou de caméras temps de vol (ToF, Time of Flight) placées sur l’avant ou les côtés du robot pour générer des cartes tridimensionnelles, évaluer des distances et contribuer à la localisation et cartographie simultanées (SLAM, Simultaneous Localization and Mapping).

L’emplacement de ces caméras est souvent dicté par la taille du robot, sa mobilité et le champ de vision nécessaire. Sur les petits robots de livraison sur trottoir, par exemple, les caméras peuvent être placées dans des panneaux encastrés sur les quatre côtés de l’appareil.

Sur un drone, elles sont généralement tournées vers l’avant pour la navigation et vers le bas pour l’atterrissage ou le suivi d’objets. 

Automatisation et interaction humaine

Dans l’automatisation industrielle, les systèmes de vision permettent aux robots d’effectuer des tâches répétitives ou de précision de manière rapide et homogène. Dans ce cas, la caméra peut être montée sur un bras robotisé (près d’un dispositif de préhension ou de l’effecteur terminal) et le système peut alors inspecter visuellement, localiser et manipuler des objets avec une grande précision.

Ceci est particulièrement important dans les opérations de prélèvement et placement (pick-and-place), pour lesquelles il est essentiel de connaître exactement la position et l’orientation d’une pièce ou d’un paquet.

Dans d’autres cas, les caméras sont fixées au-dessus d’une zone de travail (sur un portique ou un rail aérien) pour surveiller des articles sur un convoyeur ou scanner des codes-barres. Dans les entrepôts, les robots mobiles utilisent des caméras tournées vers l’avant pour détecter des étiquettes d’étagères, des indications signalétiques ou des QR codes, pour les affectations de tâches dynamiques ou des changements de trajectoire.

Certains robots d’inspection, notamment ceux utilisés dans des infrastructures, des services publics ou l’industrie lourde, sont équipés de caméras avec zoom montées sur des mâts ou des bras articulés. Ils peuvent ainsi capter des images à haute résolution de joints de soudure, de chemins de câbles ou de raccords de canalisations — autant de tâches qui peuvent être dangereuses pour l’homme ou chronophages si elles doivent être effectuées manuellement.

Les caméras jouent également un rôle majeur dans les échanges entre robots et humains. Dans la fabrication collaborative, le domaine de la santé ou les secteurs de services, les robots doivent comprendre des gestes, reconnaître des visages et maintenir une sensation de présence sociale. Avec les systèmes de vision, c’est possible.

Les robots humanoïdes et de service sont souvent munis de caméras intégrés dans leur tête ou leur torse, imitant ainsi la ligne de vue humaine pour favoriser une interaction naturelle. Grâce à ces caméras, le robot interprète les expressions du visage, maintient le contact visuel ou suit le regard d’une personne. Certains systèmes utilisent des caméras de profondeur ou des lentilles fisheye pour suivre les mouvements du corps ou détecter une personne qui pénètre dans un espace de travail partagé.

Dans les scénarios de robot collaboratif (ou cobot) où humains et machines travaillent côte à côte, la vision machine garantit la sécurité et la réactivité. Le robot peut surveiller des membres ou des outils qui s’approchent, en ajustant son comportement pour éviter les collisions ou en interrompant le travail si quelqu’un arrive trop près.

Même dans des systèmes télécommandés ou semi-autonomes, la vision machine reste essentielle. Les caméras montées en face avant envoient des vidéos en direct à des opérateurs à distance, qui peuvent ainsi effectuer des contrôles et inspections en temps réel.

De la réalité augmentée peut aussi être superposée à ce flux vidéo pour faciliter certaines tâches, comme des diagnostics à distance ou de la formation. Dans tous ces domaines, l’emplacement de la caméra (sur un dispositif de préhension, un support, la base ou la tête du robot) est déterminé au moment de la conception, selon la fonction, la forme et l’environnement du robot.

Le rôle de la vision ne pourra que se renforcer au fur et à mesure que les systèmes robotiques gagneront en capacités et en autonomie, et l’intégration des caméras deviendra de plus en plus sophistiquée et essentielle.

Les défis de la vision robotique

Les opportunités et la complexité augmenteront au fur et à mesure que les systèmes de vision deviendront l’épine dorsale de l’intelligence robotique. Les caméras à haute performance permettent de développer de puissantes capacités (perception en temps réel, manipulations précises, interactions plus sûres avec l’humain) mais elles imposent également des exigences croissantes au niveau de l’architecture des systèmes. Il ne s’agit plus uniquement de transférer rapidement de gros volumes de données vidéo.

Bon nombre des robots actuels doivent prendre des décisions instantanées en se basant sur les informations provenant de capteurs multimode, tout en fonctionnant dans des enveloppes mécaniques étroites, en gérant des contraintes de puissance, en évitant les interférences électromagnétiques et en assurant une sécurité fonctionnelle stricte à proximité immédiate des personnes.

Ces difficultés sont accentuées par les environnements dans lesquels les robots évoluent. Un robot d’entrepôt qui entre et sort constamment de chambres froides, par exemple, doit supporter de brusques variations de température et de condensation.

Un robot agricole doit parfois par exemple circuler dans des champs à la surface inégale en absorbant des vibrations et des chocs mécaniques incessants. Dans les hôpitaux ou les espaces publics, les robots de service peuvent rencontrer des configurations inhabituelles ou visuellement complexes, auxquelles ils doivent s’adapter rapidement pour évoluer au milieu des gens ou des obstacles.

La technologie GMSL est ici la solution qui répond le mieux aux exigences des systèmes robotiques modernes. Elle offre la bande passante, la robustesse et la flexibilité d’intégration requises pour les plateformes à capteurs multiples fonctionnant dans des environnements dynamiques et stratégiques. Les caractéristiques ci-après mettent en lumière comment la technologie GMSL résout les principales problématiques liées à la vision dans la robotique.

Haut débit et faible latence, une solution : la technologie GMSL

Les familles de produits GMSL2 et GMSL3 d'Analog Devices prennent en charge des débits de données de 3, 6 et 12 Gbit/s sur le canal aller (video path) et couvrent ainsi de nombreuses applications de la vision robotique. Ces différents débits de liaison permettent aux concepteurs d’optimiser leurs systèmes pour la résolution, la vitesse des images, le type des capteurs et les exigences de traitement.

Une liaison de 3 Gbit/s suffit pour la plupart des caméras à 360 degrés utilisant des obturateurs déroulants de 2 Mega Pixels et 3 Mega Pixels et une vitesse de 60 images par seconde (FPS, Frame per second).

Elle prend également en charge d’autres types de capteurs, tels que les capteurs temps de vol (ToF, Time of Flight) et les unités lidar (light detection and ranging) avec des sorties de nuages de points et les capteurs radars transmettant des données de détection ou des retours en images.

Le mode 6 Gbit/s est généralement réservé à la caméra principale du robot, qui est tournée vers l’avant. Ce mode requiert des capteurs de résolution supérieure (8 Mega Pixels ou plus) pour la détection d’objet, la compréhension sémantique ou la reconnaissance des signes.

Ce débit de données convient également pour les capteurs ToF avec sortie raw, ou les systèmes de vision stéréo qui transmettent les sorties raw de deux capteurs d’images ou envoient un flux de nuages de points traités provenant d’un processeur de signal d'image intégré.

Bon nombre des caméras stéréo actuellement commercialisées utilisent ce débit de données pour les vitesses d’images élevées. Les liaisons 12 Gbit/s, enfin, permettent de prendre en charge les caméras de 12 Mega Pixels ou plus employées dans les applications robotiques spécialisées exigeant une classification d’objets avancée, la segmentation de scène ou la perception longue portée.

Il est intéressant ici de noter que même certains obturateurs basiques à faible résolution nécessitent des liaisons plus rapides pour réduire les temps de lecture et éviter les objets en mouvement pendant les cycles de capture rapide, ce qui est essentiel dans des environnements dynamiques ou à haute vitesse.

 

 

Plages de bande passante et capacités de la technologie GMSL

 

Étant donné que la technologie GMSL applique le duplexage de domaine de fréquence pour séparer les canaux aller (vidéo et contrôle) et retour (contrôle), elle permet une communication bidirectionnelle à latence faible et déterministe, en écartant le risque de collision de données.

Elle maintient une latence remarquablement faible pour tous les débits : le délai ajouté entre l’entrée d’un sérialiseur GMSL et la sortie d’un désérialiseur est généralement de l’ordre de quelques dizaines de microsecondes — ce qui est négligeable pour des systèmes de vision robotiques en temps réel.

La latence déterministe du canal retour permet un déclenchement matériel précis depuis l’hôte vers la caméra, et elle est essentielle pour la capture d’images synchronisée avec plusieurs capteurs, ainsi que pour le déclenchement d’image en fonction du temps ou d’événements dans les workflows robotiques complexes.

Avec des caméras USB ou Ethernet, ce niveau de précision temporelle requiert en général l’ajout d’une ligne de déclenchement matériel séparée, ce qui augmente la complexité du système et le câblage.

A ce niveau, l’un des avantages les plus intéressants de la technologie GMSL est sa capacité à réduire l’infrastructure de câbles et de connecteurs. Le GMSL proprement dit est une liaison à duplex intégral et la plupart des caméras GMSL utilisent la fonction d’alimentation électrique via le câble coaxial (PoC) pour permettre la transmission des données vidéo, des signaux de contrôle bidirectionnel et de l’électricité via un unique câble coaxial fin.

Ceci simplifie considérablement le câblage, réduit le poids et le volume total des câbles et facilite le routage mécanique dans des plateformes robotiques compactes ou articulées. De plus, le sérialiseur GMSL est hautement intégré et réunit l’interface vidéo (MIPI-CSI) et le GMSL PHY sur un unique processeur.

En règle générale, le sérialiseur GMSL consomme environ 260 mW d’électricité en mode 6 Gbit/s , c’est-à-dire moins que les autres technologies offrant un débit équivalent. Toutes ces caractéristiques se traduisent par des zones plus petites sur les cartes, des exigences réduites en matière de gestion thermique (en éliminant souvent le besoin de dissipateurs volumineux) et une plus grande efficacité système globale, en particulier pour les robots à batterie.

 

 

Architecture type d'une caméra GMSL utilisant le circuit MAX96717

 

Les désérialiseurs GMSL sont disponibles en différentes configurations et prennent en charge une, deux ou quatre liaisons d’entrée, ce qui offre une grande flexibilité dans les architectures d’agrégation de capteurs.

Les concepteurs peuvent ainsi connecter plusieurs caméras ou modules de capteurs à une seule unité de traitement sans commutation supplémentaire ou multiplexage externe — une possibilité particulièrement utile dans les systèmes robotiques comptant plusieurs caméras. Agrégation des capteurs et routage des données vidéo En plus des entrées multiples, GMSL SERDES prend également en charge des fonctions avancées pour la gestion et le routage intelligents des données à travers le système.

Parmi ces fonctions, on trouve l'I2C et le GPIO broadcasting pour la configuration des capteurs et la synchronisation des images simultanées. Alias d’adresses I2C, pour éviter les conflits d’adresses I2C en mode passthrough. La réaffectation de canaux virtuels, qui permet de mapper plusieurs flux vidéo dans la mémoire tampon à l’intérieur de systèmes sur puce (SoC).

La duplication de flux vidéo et le filtrage de canal virtuel, qui permet d’envoyer une sélection de données vidéo à plusieurs SoC, par exemple pour prendre en charge à la fois les pipelines d’automatisation et d’interaction à partir d’un même flux de caméra, ou de prendre en charge des chemins de traitement redondants pour renforcer la sécurité fonctionnelle.

Développée à l’origine pour les systèmes avancés d’aide à la conduite (ADAS) des véhicules automobiles, la technologie GMSL a fait ses preuves dans des environnements ne tolérant aucun compromis en termes de sécurité, de fiabilité et de robustesse. Les systèmes robotiques, en particulier ceux opérant autour de personnes ou effectuant des tâches industrielles stratégiques, peuvent profiter de ces standards de haut niveau.

 

GMSL vs USB vs Ethernet : des compromis en matière de vision robotique

 

La plupart des sérialiseurs et désérialiseurs GMSL peuvent fonctionner dans des plages de température de -40 °C à +105 °C, avec une égalisation adaptative intégrée qui surveille et règle en permanence les paramètres de l’émetteur-récepteur en fonction des variations environnementales.

Les architectes systèmes ont ainsi la possibilité de concevoir des robots fonctionnant de manière fiable sous des températures extrêmes ou variables. La plupart des dispositifs GMSL sont en outre compatibles ASIL-B et présentent un BER extrêmement faible. Dans des conditions de liaison conformes, le GMSL2 offre un BER type de 10 à 15, tandis que le GMSL3, avec sa correction d'erreur sans voie de retour (FEC) obligatoire, peut atteindre un BER très faible de 10 à 30.

Cette intégrité exceptionnelle des données, associée à la certification de sécurité, simplifie considérablement l’intégration de la sécurité fonctionnelle au niveau du système. Enfin, la robustesse du dispositif GMSL réduit les interruptions et les coûts de maintenance, et elle renforce la fiabilité à long terme du système — deux avantages stratégiques pour les déploiements de robotique industrielle ou de service.

La technologie GMSL profite d’un écosystème mature et prêt pour les déploiements, façonné par des années d’utilisation intensive dans les systèmes automobiles et porté par un vaste réseau de partenaires dans le monde entier.

Ceci inclut un portefeuille complet de caméras prêtes pour l’évaluation et la production, des cartes de calcul, des câbles, des connecteurs, ainsi que la prise en charge des logiciels/drivers, tous étant testés et validés dans les conditions réelles les plus strictes.

Pour les développeurs robotiques, cet écosystème réduit la durée des cycles de développement, simplifie l’intégration et présente des obstacles moins difficiles à franchir pour passer du prototype à la production.

Ces dernières années, la technologie GMSL est devenue de plus en plus accessible hors du secteur automobile, et elle crée de ce fait de nouvelles possibilités pour les systèmes robotiques à haute performance. Alors que la demande en matière de vision robotique évolue (plus de caméras, résolutions plus élevées, synchronisation plus précise et environnements plus difficiles), les interfaces classiques telles que USB et Ethernet deviennent insuffisantes en termes de bande passante, de latence et de complexité de l’intégration.

La technologie GMSL apparaît aujourd’hui comme une voie d’évolution privilégiée offrant une solution robuste, évolutive et prête pour la production qui remplace progressivement les interfaces USB et Ethernet sur de nombreuses plateformes robotiques avancées.

Alors que la robotique est utilisée dans des environnements de plus en plus exigeants et des scénarios divers, les systèmes de vision doivent évoluer pour prendre en charge plus de capteurs, plus de bande passante et la performance déterministe. Même si les solutions de connectivité existantes restent importantes pour le développement et certains scénarios de déploiement, elles introduisent des compromis en matière de latence, de synchronisation et d’intégration système, ce qui limite leur évolutivité.

La technologie GMSL, qui associe de hauts débits de données, une longue portée filaire, une alimentation électrique intégrée ainsi qu’une faible latence bidirectionnelle et déterministe, constitue un socle éprouvé pour la conception de systèmes de vision robotiques évolutifs. Elle permet aux concepteurs de passer plus rapidement du prototype à la production, en fournissant des robots plus fiables et plus intelligents prêts à relever les défis de toute une variété d’applications réelles.