La démocratisation de l'intelligence artificielle franchit un cap décisif avec Exo, un logiciel qui permet d'exécuter des modèles de langage avancés sur des appareils ordinaires connectés en réseau. Cette solution distribue la charge de calcul entre plusieurs machines, rendant accessible ce qui était jusqu'alors réservé aux infrastructures haut de gamme.
L'IA générative nécessite habituellement des ressources informatiques considérables, tant en mémoire qu'en puissance de traitement. Exo bouleverse cette équation en permettant à des ordinateurs, smartphones et même des cartes Raspberry Pi de fonctionner ensemble pour faire tourner des modèles complexes.
Une approche décentralisée inspirée du peer-to-peer
Le fonctionnement d'Exo rappelle celui du protocole BitTorrent, non pour ses usages controversés, mais pour son architecture technique distribuée. Tout comme BitTorrent partage des fichiers entre plusieurs ordinateurs, Exo répartit les couches d'un modèle d'IA entre différents appareils.
Cette méthode, baptisée « pipeline parallel inference », découpe les grands modèles de langage (LLM) en plusieurs fragments qui sont ensuite distribués sur les appareils disponibles. Chaque appareil traite une partie du modèle proportionnellement à sa mémoire disponible, selon une stratégie appelée « ring memory weighted partitioning ».
L'approche décentralisée d'Exo s'inspire également du projet SETI@home, qui utilisait les ordinateurs de volontaires pour analyser des données astronomiques. Grâce à son réseau pair-à-pair (P2P), Exo élimine le besoin d'un système central puissant, rendant l'inférence d'IA plus accessible.
Des capacités techniques impressionnantes
Exo prend en charge plusieurs modèles populaires comme LLaMA, Mistral, LlaVA, Qwen et DeepSeek. Le logiciel fonctionne sur Linux, macOS, Android et iOS, bien que Windows ne soit pas encore supporté. L'outil fait collaborer des configurations matérielles hétérogènes. Par exemple, un modèle nécessitant 16 Go de RAM peut fonctionner sur deux ordinateurs portables de 8 Go travaillant ensemble. Plus impressionnant encore, un modèle exigeant comme DeepSeek R1, qui requiert environ 1,3 To de RAM, pourrait théoriquement fonctionner sur un cluster de 170 Raspberry Pi 5 équipés chacun de 8 Go de RAM.
L'utilisation d'Exo a été conçue pour être aussi simple que possible. Une fois le dépôt GitHub cloné et l'environnement virtuel configuré, il suffit d'exécuter la commande « exo ». Le système découvre automatiquement les autres appareils sur le réseau sans configuration manuelle.
Source : Tech Radar
