Sous le nom de MLPerf Inference v0.5, un consortium réunissant une quarantaine de sociétés et de laboratoires universitaires a dévoilé une suite de tests destinée à mesurer de façon indépendante les performances système et l’éco-efficacité des technologies d’apprentissage automatique (machine learning). ...Selon les promoteurs du (futur) standard MLPerf, dont Arm, Cadence, Facebook, General Motors, Google, Intel, MediaTek, Microsoft et Xilinx, la suite d’outils ainsi définie a vocation à couvrir des modèles applicables à une large gamme d’applications, dont la conduite autonome et le traitement du langage naturel, et ce sur différents types de matériels, des smartphones aux PC en passant par les serveurs et passerelles de périphérie de réseau (edge) et les plates-formes de cloud computing déployées dans les centres de données.
MLPerf Inference v5.0 utilise en pratique une combinaison soigneusement sélectionnée de modèles et de jeux de données afin que les résultats obtenus soient applicables à des cas d’usage concrets. En mesurant les opérations d’inférence, les benchmarks seront capables de donner des indications sur la vitesse avec laquelle un réseau de neurones préalablement entraîné peut traiter de nouvelles données pour fournir des informations utiles. Le consortium MLPerf a déjà publié le benchmark associé Training v5.0 qui a donné 29 résultats différents mesurant la performance de systèmes d’avant-garde pour l’entraînement de réseaux de neurones profonds.
Pour l’heure, la suite MLPerf Inference v0.5 consiste en cinq benchmarks focalisés sur trois tâches classiques d’apprentissage automatique : la classification d’images, la détection d’objets et la traduction automatique. Le consortium fournit aussi des implémentations de référence desdits benchmarks ainsi que des instructions pour exécuter le code afférent. Ces implémentations de référence sont disponibles dans les frameworks ONNX, PyTorch et TensorFlow.
« Les benchmarks d’inférence MLPerf vont accélérer le développement de blocs matériels et logiciels capables de tirer parti au maximum des potentialités des applications d’apprentissage automatique, indique le comité directeur du consortium MLPerf. Ils vont également stimuler l’innovation dans les laboratoires de recherche et les universités. En créant des métriques communes et pertinentes aptes à évaluer de nouveaux frameworks logiciels d’apprentissage automatique, de nouveaux accélérateurs matériels, de nouvelles plates-formes de traitement dans le cloud et en périphérie de réseau dans des situations réelles, ces benchmarks vont établir un environnement équitable que même les plus petites entreprises pourront utiliser. »
Vous pouvez aussi suivre nos actualités sur la vitrine LinkedIN de L'Embarqué consacrée à l’intelligence artificielle dans l’embarqué : Embedded-IA https://www.linkedin.com/showcase/embedded-ia/
