Galaxy AI est incontestablement la nouveauté la plus marquante des nouveaux Galaxy S24. Avec elle, Samsung souhaite rendre simples des tâches jusqu’ici fastidieuses ou complexes. Petit tour d’horizon de ses principales possibilités.
Franchement, on n’avait pas vu venir Samsung sur ce coup-là. Développée dans le plus grand secret, Galaxy AI n’avait absolument pas fuité avant l’annonce faite lors du CES de janvier.
On pensait — un peu naïvement peut-être — que l’intégration dans un smartphone d’une IA utile à l’utilisateur viendrait plutôt d’Apple. Après tout, ce que propose Galaxy AI affiche des similitudes avec le Knowledge Navigator.
Présenté par la Pomme en 1987 dans une vidéo, cette vision futuriste de l’assistant personnel préfigurait la commercialisation en 1993 d’Apple MessagePad. Malheureusement, la technologie de l’époque ne permettait pas de tenir les promesses du Knowledge Navigator. De retour aux commandes d’Apple, Steve Jobs mit fin à l’aventure début 1998.
Galaxy AI regroupe un ensemble de technologies devant simplifier le quotidien autour de quatre piliers : communiquer, s’informer, travailler et créer. La promesse est-elle tenue ? Globalement oui, mais avec quelques bémols comme on va le voir.
Faciliter la communication
Galaxy AI veut faciliter la mise en contact de personnes ne parlant pas la même langue ou ayant des lacunes en grammaire/orthographe. Bonne idée, mais comment y arriver sans que cela ne soit galère ? Et que vaut le résultat ?
Une traduction instantanée prometteuse, mais pas parfaite
Galaxy AI met en œuvre la traduction instantanée par téléphone ou en face à face. Dans le premier cas, il s’agit vraiment d’appels téléphoniques et non pas de conversations vocales au travers de plateformes comme WhatsApp, Skype ou Messenger. Vous trouvez cela frustrant ? Nous aussi, mais pour l’instant, Samsung reste muet sur ses plans futurs.
Son fonctionnement est plutôt simple : une fois le correspondant joint, il suffit de presser le bouton « assistant d’appel » et de choisir le type de communication souhaitée (vocale ou par message écrit). Les phrases prononcées par un interlocuteur sont traduites dans la langue de l’autre et vice-versa.
Une transcription s’affiche temporairement à l’écran, mais disparait à la fin de l’appel. Au lancement, 13 langues sont prises en charge, d’autres devant arriver les prochains mois. Détail qui a son intérêt, toute l’opération est gérée en local sur le S24 Ultra, rien n’est envoyé vers un serveur en ligne.
Nous avons testé la traduction instantanée en espagnol, anglais, chinois et japonais. Grosso modo, l’IA s’en tire correctement pour les phrases simples, mais la qualité de la traduction n’est pas optimale (on dirait du Google Traduction d’il y a cinq ans…) Interrogé à ce sujet, Samsung répond que la fonction est en constante évolution, les packs de langages utilisés étant très souvent mis à jour.
Même constat pour la traduction en face-à-face, que l’on active en effleurant l’icône « interpréteur » du centre de contrôle. Elle rend d’incontestables services, mais ne brille pas par son style ni par la compréhension des intonations (pas de point d’interrogation pour une question, le reste de la ponctuation étant parfois aléatoire).
Une correction de la grammaire, de l’orthographe et du style efficace
Les adeptes des messageries instantanées bénéficient, eux aussi, d’outils basés sur l’IA. Pour y accéder, il faut cliquer sur l’icône Galaxy AI se trouvant sur le clavier Samsung : tout logiciel de communication faisant appel au clavier virtuel peut donc y accéder.
En plus de la correction de la grammaire et de l’orthographe — plutôt efficaces — l’assistant message peut reformuler le texte que l’on s’apprête à envoyer selon cinq styles : professionnel, détendu, #social (ajout de hashtags), poli et Emoji (ajout d’emoji au message). Là aussi, tout est fait en local et les résultats sont pertinents dans la plupart des cas… Amusant et parfois utile.
Notre avis
À n’en pas douter, les fonctions liées à la traduction, au style ainsi qu'à à la correction grammaticale et orthographique sont très prometteuses. Si la seconde est même convaincante, la première doit encore être peaufinée afin de produire un texte de meilleure qualité.
S’informer efficacement
Trouver de l’information, c’est bien, surtout à partir d’une image ou d’une capture d’écran. Google a réfléchi à la question et propose une solution originale sur les Galaxy de Samsung. Entièrement conçu par le Coréen, l’assistant Web a un bel avenir devant lui, malgré quelques limitations.
Entourer pour chercher : Google Lens utilisable facilement
Manifestement, les liens entre Google et Samsung sont assez forts pour que le Yankee accorde au Coréen le droit d’exploiter la fonction « entourer pour rechercher » jusqu’ici uniquement implémentée sur ses Pixels.
Il s’agit en fait d’une extension plutôt bien vue de Google Lens : une pression prolongée sur le bas de l’écran permet d’entourer (au doigt ou avec le S Pen) un objet ou un texte présent à l’écran. Le moteur de recherche de Google retourne alors les informations qu’il trouve sur le Net.
Assez bien foutue, la fonction a toutefois quelques limites voulues par Google. Impossible de rechercher un visage humain ou de traiter des informations bancaires, par exemple. À moins que l’application interdise les captures d’écran (comme MyCanal, par exemple), il est possible d’utiliser tout élément affiché depuis n’importe quelle application.
Un assistant web intéressant, mais trop limité
À notre avis nettement plus utile, l’assistant web permet de résumer un article ou une page web en effleurant une touche. Deux niveaux sont proposés (simple ou détaillé). Disponible uniquement depuis Samsung Explorer, la fonction s’avère diablement utile… lorsqu’elle fonctionne !
À plusieurs reprises, l’assistant a refusé de traiter une page qu’il estimait contenir des termes « inappropriés ». Franchement, nous n’avons pas vu en quoi certaines news et tests de Clubic pouvaient être si offensants qu’il ne méritaient pas d’être pris en charge…
Autre limitation, l’impossibilité de traiter un article de presse depuis certains sites accessibles sur abonnement… même si l’on est abonné et connecté. Nous avons rencontré ce problème sur Le Monde, et New York Time, mais pas sur Courrier International. Sur libération.fr, le résultat est aléatoire.
Si le résumé n’est pas disponible, la traduction l’est toujours. Elle utilise les mêmes packs de langue que la traduction instantanée, avec ses avantages et inconvénients.
Notre avis
« Entourer pour chercher », c’est un peu comme les épinards : soit on aime tout de suite, soit on ne s’y fait jamais. À vous de voir si vous appréciez cette fonction made in Google.
L’assistant web est une excellente idée dont on ne comprend pas certaines limitations arbitraires. Pourquoi ne pas l’avoir intégré directement au clavier Samsung afin de le rendre dispose depuis d’autres navigateurs ? Existe-t-il une raison technique ou s’agit-il d’une limitation imposée par le marketing ? Impossible de le savoir pour l’instant.
Travailler plus rapidement
S'il y a bien un domaine où l'IA peut être utile, c'est celui des études et du travail. Samsung l'a bien compris et propose quelques fonctions qui devraient faciliter la vie des utilisateurs.
Gagner du temps avec la retranscription vocale
L’enregistreur vocal de Samsung — et uniquement lui — dispose d’un assistant de retranscription assez impressionnant sur le papier. Il est ainsi capable de retranscrire ses enregistrements audio. Mieux encore, il sait reconnaître jusqu’à dix interlocuteurs différents et les identifie dans le texte qu’il produit.
Précisons qu’il peut aussi traduire le texte dans l’une des langues disponibles. Si l’on a la flemme de relire l’intégralité de la retranscription, il est possible d’en générer un résumé plus ou moins détaillé.
Dans ce cours magistral en anglais, il n'est pas question de Suzanne mais de Cézanne… et Morris est en fait Maurice. Galaxy AI a encore des efforts à faire afin de comprendre le contexte.
Dans les faits, la transcription fonctionne plutôt correctement si les conditions d’enregistrement sont bonnes. Dans le cas contraire, les mots peuvent être mal interprétés.
Ne comptez pas non plus utiliser cette fonction lors de réunions où l’on débite un jargon spécifique : il ne sera pas reconnu correctement, l’IA n’étant pas capable d’apprendre de nouveaux termes. C’est sûrement l’un des inconvénients majeurs du traitement local (rien ne sort du smartphone).
Le texte généré peut alors être copié vers une autre application ou directement importé dans Samsung Notes. Dans ce cas, on peut l’améliorer en passant par l’option « Orthographe et Grammaire ». Elle remet un peu de cohérence dans la transcription en éliminant les répétitions et en « lissant » le texte (suppression des « heuuuu », « d’accord », « OK » et autres tics de langage).
Samsung Notes bénéficie pleinement de Galaxy AI.
Le résultat n’est pas parfait, mais c’est déjà mieux que rien. Si le texte dépasse 8 000 caractères, il devra être analysé en plusieurs fois, la correction orthographique étant incapable de traiter un volume plus important en une fois. Dommage.
Seuls les fichiers enregistrés à l’aide de l’app peuvent être retranscrits. Nous avons essayé de lui soumettre des enregistrements au même format que ceux qu’elle crée (M4A) : impossible de les faire prendre en compte. Pourquoi ? Interrogé sur ce point, Samsung reste assez évasif et précise que « pour l’instant » il n’y a pas de possibilité d’importer un fichier audio.
Un assistant Note un peu trop limité
On l’a mentionné précédemment, il est possible de corriger l’orthographe, la grammaire et le style d’un texte. Ces tâches incombent à l’assistant Notes. Ses talents ne se limitent pas uniquement à cela puisqu’il peut aussi formater le texte selon deux modèles (« en-tête et puces » ou « notes de réunion ») puis créer une synthèse du texte.
Là aussi, la limite de traitement est de 8 000 caractères. Cela peut suffire pour un article de presse ou une courte conversation, mais pas pour la transcription d’une réunion durant plusieurs dizaines de minutes. Interrogé sur le sujet, Samsung reste — une fois de plus — très évasif. Il est actuellement impossible de savoir si cela est dû à un choix marketing ou à un impératif technique…
Si l’on reste dans les limites imposées, le résultat est plus que satisfaisant. Les résumés et synthèses s’avèrent pertinents et nous n’avons pas rencontré de contresens lors de nos multiples tests.
Pourquoi diable avoir limité le champ d’action de l’assistant Notes aux textes de 8000 caractères ? Là aussi, on se demande s’il s’agit d’une limitation technique — qui serait très frustrante — ou plutôt d’un verrou imposé par le marketing. Mystère… même si on a une petite idée sur le sujet !
Retoucher des images sans peine
Samsung donne accès à une IA générative depuis l’app Galerie afin de modifier des images. Il faudra pour cela accepter de les transférer vers le cloud, le traitement ne pouvant s’effectuer en local. Ne vous attendez pas à trouver un mécanisme de prompt à la DALL.E afin de créer un visuel de toute pièce, mais plutôt une aide à la retouche d’images.
On peut ainsi créer un bout d’arrière-plan manquant après avoir redressé une photo, effacer des objets et des personnages ou encore les agrandir ou les rétrécir. L’IA se charge d’intégrer les modifications harmonieusement dans l’image puis de générer l’arrière-plan. Et le moins que l’on puisse dire, c’est que tout cela fonctionne bien. Très bien, même.
Qu’il s’agisse de retouches mineures ou d’effacer un objet gênant en premier plan, l’IA fait vraiment le boulot. Certes, le résultat n’est pas toujours parfait et il faudra parfois repasser derrière. Mais, dans 90 % des cas, la modification n’est pas perceptible pour qui n’a pas vu l’original.
On remarque parfois une bizarrerie : l’effacement d’un objet donne lui à l’apparition d’un arrière-plan en contenant un autre Si cela passe correctement la plupart du temps, ce n’est pas toujours le cas. Témoin cette photo où une voiture est remplacée par… une autre voiture accidentée !
Comme une image vaut mieux qu’un long discours, nous préférons vous soumettre une série d’essais réalisés avec un Galaxy S24 Ultra. Les photographies ont été shootées avec le smartphone, des appareils concurrents et même un hybride plein format. Précisons au passage qu’un logo et des métadonnées sont ajoutés aux images modifiées par Galaxy AI.
Notre avis
La retouche d’image basée sur une IA générative est ici une réussite. Elle fournit des résultats qui n’ont rien à envier à ce que produisent les logiciels que l’on utilise sur ordinateur. On espère que Samsung l’enrichira rapidement de nouvelles fonctions, comme la duplication d’éléments de la scène ou la modification du ciel d’un paysage, par exemple.
Galaxy AI : notre avis sur l'IA de Samsung
Galaxy AI est sans aucun doute possible, une technologie novatrice et prometteuse. Même si elle est utilisable en l’état, elle mérite quelques améliorations, l’ajout de quelques fonctions supplémentaires et la levée de limitations que nous pensons arbitraires.
Si nous avions l’esprit mal tourné, nous penserions qu’il s’agit d’une sorte d’échantillon gratuit de ce que sera véritablement l’IA intégrée à un smartphone afin de donner envie aux utilisateurs de souscrire un abonnement.
Celui-ci déverrouillerait les limitations, ajouterait de nouvelles fonctions et justifierait la déclaration du coréen disant que Galaxy AI sera gratuit « au moins jusqu’à la fin 2025 »… Heureusement, cette mauvaise pensée ne nous a même pas effleurée !
Précisons pour finir que Samsung a officiellement annoncé que Galaxy AI sera disponible sur les Galaxy S23, S23 Plus, S23 FE ainsi que sur les Tab S9 au travers d’une mise à jour gratuite dans le courant de l’année.
a la fin du TLDR pour troller arthur