L'engouement pour ChatGPT ne semble pas près de s'arrêter

Ils ont mis chat GPT dans la tete des gens pour l’IA, comme Google a fait pour la recherche. A partir de là, la concurrence va avoir du mal à se démarquer

hebergez les modèles chez vous, n’envoyez plus vos requêtes sur le net

Gemma 2
Gpt 4o
Llamma 3.1
Mistral
Grok

modèls originaux de différentes tailles et modèles modifiés moins conformistes.

+1 pour le fait de faire tourner en local quand c’est possible. Mais il faut tout de même du bon matos pour avoir des temps de réponse potables.

Par contre non, GPT-4o n’est pas open-weight, donc pas possible de le faire tourner en local (et de toute façon même s’il l’était, avec un nombre de paramètres estimé entre 1500 et 2000 milliards, personne n’a chez lui le matériel capable de faire tourner un tel modèle).

ces applis sont plutôt destinés à des data centers d’une entreprise voire à du cloud.
Ce serait déraisonnable pour un particulier d’installer ça à la maison. Et pourquoi faire comme dirait si drôlement les nuls.

Non, LM Studio c’est bien destiné à un usage « client », c’est fondamentalement pas grand chose de plus qu’une interface graphique pour facilement faire tourner un modèle en local et lui faire des requêtes.

D’ailleurs le premier point mis en avant sur la page d’accueil de web studio, c’est de faire tourner sur son laptop :

image758×210 15.8 KB

Quand on veut héberger sur un serveur, on prend un Ollama et on requête via des API REST ou un front web.

sauf que tu confonds les IA d’analyse comme whisper, qui analyse des données et les transforment après un apprentissage (whisper vous fait vos sous titre de vidéo avec une installation de 3go et le besoin d’une carte graphique de 10Go de ram) alors que d’autres ont besoin de beaucoup plus comme Chat GPT 3 par exemple nécessite plus de 700Go de stockage, 40 à 100Go de Vram. Et là on est juste sur le modèle, pas sur les données.
Source : chat GPT, oui, je lui ai posé la question

Certaines IA sont localisables, d’autre non.

700go de stockage et 100go de vram reste accessible a n’importe qui.

je confonds pas et je suis un early user de

Gpt 4o est dispo mais pas comme modèle à part entière, c est plutôt du llama affiné sauce gpt 4o, je sais pas comment ils s’y prennent, il faut du méchant matos pour affiner un bon modèle.

Gpt 4o772×482 63 KB

Oui, donc ce n’est pas GPT 4o, et ça en est très loin.

C’est du fine tuning de Llama3 fait en lui donnant un dataset issu de GPT. En gros, ils créent plein de prompts, ils les donnent à GPT, ils récupèrent ses réponses, et ils réinjectent dans Llama les couples prompt/réponse pour l’entraîner. En l’occurrence, la dataset de base utilisé (celui là : lightblue/tagengo-gpt4 · Datasets at Hugging Face ) ne contient que 75 000 prompts dans 74 langues (15 000 en anglais, langue la plus représentée dans le dataset), et Ruslan en a extrait un sous-ensemble et a entrainé Llama3 avec ce sous-ensemble, avec 2 cartes nVidia A100 (expliqué ici : ruslandev/llama-3-8b-gpt-4o-ru1.0 · Hugging Face ).

Au final, ça n’a de GPT 4o que le nom, quelque soit l’entrainement qu’on applique dessus, un Llama3 8b (donc la version « light » de Llama3, à seulement 8 milliards de paramètres, la version complète de Llama3 c’est 70 milliards, et ça monte même à plus de 400 avec Llama3.1) ne peut en aucun cas atteindre le niveau de performances d’un GPT 4o à 1500-2000 milliards de paramètres, il ne pourra que vaguement s’en approcher sur des prompts proches de ceux utilisés pour l’entrainement. Et en l’occurrence, 3000 prompts principalement spécialisés sur le russe (Ruslan mentionne que son sous-ensemble de dataset est à 80% en Russe, et on peut voir là que le dataset ne fait que 3000 entrées : ruslandev/tagengo-subset-gpt-4o · Datasets at Hugging Face ), donc ça va donner un modèle qui au final sera meilleur que Llama3 sur du russe (mais quand même loin de GPT 4o), mais sans doute moins bon que Llama3 dans les autres langues.

Utiliser ce modèle en français, ou même en anglais, n’a probablement aucun intérêt par rapport à une utilisation de Llama3 « brut » (d’autant plus qu’il est basé sur Llama3, alors que Llama3.1 est dispo et plus performant…).