Modèle IA embarqué vs web

Lors de notre exploration de l'intelligence artificielle (IA), nous avons examiné comment choisir le modèle approprié en fonction de la tâche à accomplir (classification, segmentation, régression, génération), des données disponibles (datasets), des ressources nécessaires pour l'entraînement (machines hôtes des scripts d’entraînement du modèle), et des périphériques visés pour l'inférence (machines hôtes des scripts d’exécution du modèle pour les prédictions).

Bien que l’entraînement d’un modèle soit généralement plus long et nécessite plus de ressources que l’inférence, l’inférence peut elle aussi être gourmande en ressources, notamment lorsqu'elle implique des modèles de grande taille, comme GPT-3, qui comportent des centaines de millions voire des milliards de paramètres.

Ce contexte soulève la question du périphérique d’exécution, qui peut aller d’un smartphone à un cluster de serveurs dans le cloud, en passant par des montres connectées ou encore des ordinateurs personnels.

Nous pouvons donc opposer deux types d’hébergement pour un modèle de deep learning :

Modèle Embarqué

Définition

Un modèle IA embarqué est hébergé directement sur le périphérique de l’utilisateur. Ce périphérique peut être un smartphone, une montre connectée, ou tout autre appareil capable de traiter des données en local.

Avantages

  1. Indépendance de la connexion Internet : Le modèle peut fonctionner sans connexion Internet, ce qui est crucial pour des applications nécessitant une disponibilité constante et immédiate (par exemple, des dispositifs médicaux portables).
  2. Latence réduite : Puisque l’inférence se fait en local, il n’y a pas de délai lié à la transmission de données sur Internet. Ceci est important pour les applications en temps réel, comme la reconnaissance vocale ou la réalité augmentée.
  3. Confidentialité : Les données de l’utilisateur ne quittent pas le périphérique, ce qui peut être crucial pour des applications sensibles où la confidentialité est primordiale.

Inconvénients

  1. Ressources limitées : Les périphériques embarqués disposent souvent de ressources limitées en termes de mémoire, puissance de calcul et stockage, ce qui peut restreindre la taille et la complexité des modèles déployés.
  2. Complexité de déploiement : Adapter et optimiser des modèles pour fonctionner efficacement sur des périphériques embarqués peut être complexe et nécessite des techniques avancées comme la quantification et le prunage.

Exemples