L’intelligence artificielle déployée à la périphérie du cloud permet de répondre aux nouveaux défis technologiques que doivent aujourd’hui relever la plupart des entreprises. Il est cependant crucial que les algorithmes de Machine Learning soient optimisés pour répondre aux contraintes de temps réel de la majorité des cas d’usages. Nous avons développé une méthodologie pour déterminer quelles sont les configurations logicielles et matérielles capables de reproduire de telles performances sur des objets connectés. En décembre 2020 , nous avons publié les résultats de nos premières expérimentations sur quelques configurations de notre banc d’essai.
Nous présentons dans cette série d’articles les enseignements de ce benchmark qui confirment l'importance et la technicité de la miniaturisation des algorithmes d'IA pour le Edge Computing (dont l'IoT). Nous proposons à ce titre un ensemble de méthodes et de techniques permettant d’adapter l’IA pour le Edge Computing.

Le Contexte : L’avènement du Edge AI

En 2020, près de 10 milliards d’objets connectés sont utilisés dans le monde. Tous ces objets génèrent des données en continu, qui nécessitent d’être stockées et évaluées en temps réel pour des applications critiques : une vitesse de traitement que les solutions Cloud ne sont pas en mesure de maîtriser.
L’Edge Computing représente une solide alternative : il s’agit d’une architecture informatique destinée aux environnements IoT, dans laquelle les ressources informatiques, la capacité de stockage et la puissance de calcul sont maintenues au plus près des équipements terminaux qui génèrent les données.
La latence, les coûts en bande passante, la confidentialité des données ou encore la frugalité énergétique sont les réponses que peut apporter le Edge Computing aux nouveaux défis technologiques que doivent aujourd’hui relever la majorité des entreprises.

La pertinence, tant de la collecte des informations que de leur traitement efficace et en temps réel, nécessite des capacités que seule l’Intelligence Artificielle peut proposer. Ainsi, pour obtenir des décisions immédiates ou détecter des anomalies en temps réel, rien de mieux que de placer l’IA à la périphérie. On parle désormais du « Edge AI » comme suite logique du Edge Computing. Ce nouveau paradigme impose la présence d’algorithmes de Machine Learning installés en local, tournant possiblement sans connexion réseau et avec une faible consommation énergétique.

Exploration

Le Technology Office, le département Innovation d’Avanade France, explore les dernières avancées en matière d’IA et d’IoT. Notre expérience du « Edge AI » débute il y a plusieurs années, autour de ce qui n’est alors qu’un petit projet expérimental baptisé « Happy Face ». Proposé par Jean-Pierre Riehl, Directeur de l’Innovation chez Avanade France, l’objectif du projet est de réaliser une intelligence artificielle capable de détecter les émotions du public lors d’une conférence. Le dispositif doit proposer un retour visuel en temps réel à l’intervenant pour lui donner la tendance générale, selon si l’auditoire est conquis, ému, surpris, indifférent etc. Suivant ce retour, le conférencier peut, le cas échéant, adapter son discours pour maintenir son public captivé.
Accompagné par des étudiants de l’Ecole d’Ingénieurs de l’ESIEA, le Technology Office met rapidement au point un premier prototype : un algorithme de détection d’objet SSD (« Single Shot Detector ») entraîné à reconnaître 6 émotions de base, inspirées des travaux du psychologues américain Paul Ekman. Ce modèle est alors exécuté sur un Raspberry Pi 4B. Une application renvoie le visuel de la Caméra en live, sur chaque visage détecté est superposé un émoji représentant son humeur (figure 1). Ce premier device Happy Face est présenté en novembre 2019 au Salon Envision à Paris, organisé par Microsoft. Malgré un franc succès auprès des visiteurs, l’équipe d’Azeo à l’époque, qui a été rachetée par Avanade en 2020, doit faire face à des problèmes de surchauffe de l’appareil.

Figure 1 : Le retour visuel de la première version d'Happy Face

Expertise Edge AI

Fort de cette première épreuve du feu, le Technology Office améliore sa technique en poursuivant ses développements sur le même cas d’usage « Happy Face ». Nos Data Engineers architecturent le projet autour de la plateforme de Microsoft Azure IoT Edge qui propose de distribuer l’intelligence à la périphérie du cloud grâce à un système de modules déployés via des containers sur des objets connectés. Ainsi, le modèle d’IA et son code d’exécution peuvent communiquer entre eux et désormais interagir simultanément avec d’autres appareils, sans forcément passer par un cloud. Le tout est réplicable sur une flotte de devices potentiellement illimitée. Ce paradigme de Edge Computing nouvellement intégré au projet Happy Face nous ouvre dès lors des possibilités inédites. De concert, nos développeurs IoT créent les appareils physiques et leurs modules codés en Python et en .Net.
Les Data Scientists du Technology Office affinent le modèle IA d’Happy Face en appliquant des techniques d’optimisation algorithmique . L’un des challenges majeurs du Edge AI est en effet de pouvoir exécuter des algorithmes de Computer Vision, très gourmands en ressources machine sur des appareils légers et peu coûteux. Nous avons entrainé et testé plusieurs solutions : notre choix s’est arrêté sur le modèle « state of the art » YOLOv3. Parmi les algorithmes de détection d’objet, bien qu’il puisse être moins précis que certains modèles plus puissants tels que RFCN ou Faster RCNN, ce modèle est un excellent compromis par sa vitesse de traitement « one shot » et assez léger pour être utilisé sur des appareils du type Raspberry Pi. Il est en outre l’un des meilleurs actuellement pour être déployé sur des périphériques de pointe. Entrainé sur un dataset entièrement créé et labellisé par Avanade, nous avons fait le choix de convertir notre modèle custom au format ONNX et de l’exécuter sur le runtime ONNX pour gagner en performance.

Industrialisation

L’appareil Happy Face devient entièrement autonome (et ne chauffe plus), la détection des émotions est efficace et ses modules IA communiquent avec un second device qui transmet un retour visuel des prédictions sous la forme d’un signal lumineux opéré par une bande LED. La caméra intelligente peut ainsi fonctionner de manière entièrement déconnectée « full Edge » ou envoyer des données en permanence ou par intermittence vers le cloud. Grâce à son architecture modulaire, d’autres appareils identiques peuvent être déployés. L’équipe du Technology Office souhaite, sur ce principe, entièrement industrialiser sa solution d’AI-IoT. Cela passe par un entraînement de modèles de Deep Learning entièrement automatisé. C’est ainsi que née HappyFace DeepTraining System : un pipeline Azure ML d'entraînement, d'optimisation "at the edge" et de mise à disposition de modèles de Computer Vision.

La nouvelle version d’Happy Face est présentée au Salon SIDO de Lyon en septembre 2020. Toutefois la pandémie de Covid-19 nous oblige à changer notre cas d’usage, en effet, les émotions des visiteurs « masqués » sont difficilement identifiables. Aussi choisissons-nous de détecter les visages masqués de ceux qui ne le sont pas. Un tout nouveau dataset est créé pour l’occasion en prenant notamment des photos des employés d’Azeo à l’époque. Notre pipeline d’entraînement automatisé permet de créer le nouveau modèle baptisé « Masky ».

Découvrez prochainement la suite de nos essais dans le 2ème volet de cette série, avec un benchmark IA sous forme de calendrier de l’Avent.
Références :
[1] Paul Ekman, Universal Emotions Universal Emotions | What are Emotions? | Paul Ekman Group

Note : Cet article a été rédigé fin 2020 et reflète l’état de l’art des compétences Avanade à cette date. L’exploration des technologies IA et Edge Computing continue à ce jour au Technology Office, le département Innovation d’Avanade France, tenant compte des évolutions des technologies et de matériels. Nos connaissances, notre expertise, notre méthodologie et nos outils ont fortement progressé depuis la rédaction de cet article.