Google Lens peut désormais répondre aux questions sur les vidéos
Imaginez un monde où votre smartphone peut instantanément répondre à toutes vos questions sur ce qui vous entoure, simplement en pointant votre caméra. Eh bien, ce futur est arrivé avec la dernière mise à jour de Google Lens !
Google Lens analyse désormais les vidéos en temps réel
La fonctionnalité phare de cette mise à jour est la capacité pour Lens de comprendre et répondre à des questions sur les vidéos en temps quasi-réel. Les utilisateurs anglophones d'Android et iOS équipés de l'application Google peuvent maintenant capturer une vidéo via Lens et poser des questions sur les objets d'intérêt qui y apparaissent.
D'après Lou Wang, directeur de gestion produit pour Lens, cette prouesse est rendue possible grâce à un « modèle personnalisé de Gemini », la famille de modèles d'IA de Google, pour analyser la vidéo et les questions pertinentes. Wang donne l'exemple suivant :
« Disons que vous voulez en savoir plus sur des poissons intéressants. [Lens] produira un aperçu expliquant pourquoi ils nagent en cercle, avec des ressources et informations utiles supplémentaires. »
– Lou Wang, directeur de gestion produit pour Google Lens
Comment ça marche ?
Pour accéder à cette nouvelle fonctionnalité d'analyse vidéo de Lens :
- Inscrivez-vous au programme Search Labs de Google.
- Optez pour la fonctionnalité expérimentale "AI Overviews and more" dans Labs.
- Dans l'appli Google, maintenez le bouton de l'obturateur pour activer le mode de capture vidéo de Lens.
- Posez une question pendant l'enregistrement, et Lens fournira une réponse via AI Overviews.
Lens utilise l'IA pour déterminer quelles images de la vidéo sont les plus « intéressantes » et pertinentes par rapport à la question posée, et s'en sert pour contextualiser la réponse d'AI Overviews.
Recherche par image et texte combinés
Autre nouveauté : les utilisateurs anglophones, même non inscrits à Labs, peuvent désormais rechercher en combinant image et texte. Il suffit de lancer l'appli Google, maintenir le bouton pour prendre une photo, puis poser une question à voix haute.
Identification de produits pour le shopping
Lens gagne aussi de nouvelles fonctionnalités dédiées à l'e-commerce. Quand Lens reconnaît un produit sur Android ou iOS, il affiche dorénavant des informations comme :
- le prix et les promotions
- la marque
- les avis
- les stocks
Cette identification de produits fonctionne sur les photos nouvellement prises ou importées (mais pas encore sur les vidéos), dans une sélection de pays et catégories shopping comme l'électronique, les jouets et la beauté.
La page de résultats pour les produits identifiés par Lens montrera aussi des annonces shopping « pertinentes » avec options et prix. Un moyen pour Google de monétiser les 4 milliards de recherches shopping mensuelles effectuées via Lens.
La course à l'analyse vidéo par IA
Avec ces améliorations, Google prend une longueur d'avance sur des concurrents comme Meta, qui prévoit des capacités vidéo en temps réel similaires pour ses lunettes Ray-Ban Meta, ou encore OpenAI qui a évoqué une analyse vidéo pour son outil ChatGPT Advanced Voice Mode.
Si les nouvelles fonctionnalités de Google Lens tiennent leurs promesses, elles pourraient bien révolutionner notre façon d'interagir avec le monde qui nous entoure, rendant l'information encore plus accessible au bout de nos appareils photo. Reste à voir si l'expérience sera aussi fluide qu'annoncé, Google ayant parfois tendance à enjoliver les capacités de ses IA. Affaire à suivre !
