Apple réussira-t-elle à marier intelligence artificielle et protection des données personnelles ?

Il va falloir beaucoup de RAM sur l’IPhone et un processeur IA (NPU) très costaud. Je n’ai pas d’info sur le nœud TSMC du prochain IPhone 16. Un 3nm b où le même que le 15 ?

Le NPU actuel des iPhone les plus performants est à 35 Tops, c’est du niveau d’une petite carte graphique (RTX 3050) et de l’ordre de 5 fois ce qu’est capable de faire un CPU sans unité spécialisé.

Or pour un usage individuel, on arrive déjà à des résultats corrects avec certains LLM légers en les faisant simplement tourner sur un CPU.

Et idem pour la RAM, des LLM légers et très spécialisés peuvent tourner sans nécessairement beaucoup de RAM, car ils n’ont pas forcément un très grand nombre de paramètres.

Dans les IDE JetBrains par exemple, il y a maintenant la possibilité d’avoir de la complétion de ligne effectuée en local, avec un petit modèle d’à peine 100M de paramètres, qui tourne sur le CPU. Ça répond aussi vite que Copilot, peut-être un poil moins pertinent, mais tout a fait correct. Et très spécialisé, du coup limité à un seul langage par modèle. Et niveau RAM, ça a l’air de consommer entre 500 Mo et 1 Go.

Google a aussi fait une version locale de Gemini pour les smartphones, il me semble qu’elle fait 3.5 milliards de paramètres (donc ça doit consommer de l’ordre de 4 Go de RAM si les paramètres sont en 8 bits… mais peut-être aussi que ça passe en 4 bits…), et ça tourne sur le NPU qui fait 27 Tops, donc moins que celui des meilleurs iPhone.

Et en dehors des LLM, il y a aussi d’autres fonctions qui peuvent être faites en local sans trop de difficultés. Sur les Pixel 8, c’est déjà le cas pour certaines fonctions de retouche photo basées sur l’IA par exemple.

Gemini Mini tourne déjà sur des téls Android avec des CPU un peu moins puissant. Et il est probable que l’app Camera utilise déjà des réseaux de neurones tournant en local. Au moins depuis l’A14 des iPhones 12, il ne devrait pas y avoir de pb pour faire tourner des réseaux neuronaux localement.

Chez Samsung on a le choix entre du local ou du live, de mon côté, ça reste en local.

Les fonctionnalités permises aujourd’hui par un traitement on-device sont certes plus limitées, mais évitent les problèmes rencontrés par ChatGPT ou Gemini, avec des informations hors de propos, mal sourcées ou incohérentes.

Quel rapport ? L’entraînement de l’IA se fait aussi en amont avec, potentiellement, les mêmes sources de données.
Si une même IA est entraînée avec le même set de données, elle fera les mêmes erreurs, avec les mêmes biais qu’elle soit locale ou déportée.
La seule différence, c’est que les prompts ne sont plus envoyé vers un serveur extérieur.

De manière générale, il faut que le dataset soit dimensionné correctement par rapport au modèle. Un dataset trop petit par rapport au modèle donnera des résultats complètement foireux, mais un dataset trop grand aussi (mois grave quand même qu’avec un dataset trop petit !)… Tu finis par avoir un phénomène de « surentrainement », et tu n’as plus rien de valable qui sort de ton modèle. Un peu comme un mec qui ferait un burn out.

Et un dataset plus petit sera en général mieux maitrisé sur la qualité des sources. Quand tu fais un petit dataset, tu vas plus t’orienter vers des encyclopédies et des livres reconnus, pas vers une capture massive de Twitter (bien que bien sûr ça reste possible de baser un petit dataset prioritairement sur Twitter si t’as envie de faire une IA débile )

Et le fonctionnement en local ouvre aussi la porte à a une grosse utilisation du RAG, une technique qui consiste à enrichir le prompt avec des données issues d’une base de documents, en prenant les documents qui semblent proches du prompt original. Un modèle local offre la possibilité de faire un mécanisme de RAG qui aurait ingurgité tous tes documents locaux, tous tes mails récents, etc… Ce qui donnera généralement des réponses plus pertinentes et moins « hallucinatoires » à tes demandes, puisque ça sera beaucoup plus basé sur tes propres données.

Merci Matt (et les autres) de ces explications.