Google a récemment lancé une version expérimentale de Gemini 2.0 Flash qui permet aux utilisateurs de partager leur écran et d’activer leur caméra pour exploiter les informations en temps réel grâce à l’IA. Cette fonctionnalité est accessible via Google AI Studio. Voici comment l’utiliser.
Prérequis pour accéder à Google AI Studio
Pour utiliser Gemini en mode partage d’écran ou avec une caméra, il est nécessaire de s’abonner à Google Gemini Advanced. Cette fonctionnalité repose sur le modèle d’IA Gemini 2.0 Flash Experimental, accessible uniquement aux utilisateurs ayant souscrit à cette formule payante. Pour continuer ce tutoriel, nous supposons que vous êtes déjà abonné à Google Gemini Advanced.
Google AI Studio : Fonctionnel sur ordinateur et smartphone
Les fonctionnalités de Google AI Studio sont accessibles depuis une web-app. Il est important de la différencier d’une application Android ou iOS, pour le moment inexistante. Pour profiter de Google AI Studio, rendez-vous sur le site internet AI Google Studio. Cette web-app fonctionne tant depuis un ordinateur que sur un smartphone.
- Ordinateur : Plus adapté pour le partage d’écran.
- Smartphone : Pratique pour la vision IA en temps réel via la caméra.
Fonctionnalités et interface de Google AI Studio
Une fois connecté à l’interface de Google AI Studio, accédez à l’onglet Stream Realtime dans le menu à gauche de l’écran. Trois options s’affichent :
- Talk to Gemini : Lance une discussion en mode vocal avancé.
- Show Gemini : Permet à Gemini de voir en temps réel via votre caméra ou webcam.
- Share your screen : Partage votre écran en temps réel avec Gemini.
Partage d’écran
En cliquant sur Share your screen, le site demande l’autorisation de partager votre écran. Une fois autorisé, Gemini peut voir ce que vous faites en temps réel. Exemples d’utilisation :
- Assistance logicielle : Demandez de l’aide sur un logiciel spécifique.
- Avis sur la conception : Obtenez des retours sur la disposition d’un élément lors de la création d’un site web.
- Explications d’articles : Demandez à Gemini des clarifications sur un contenu affiché à l’écran.
Caméra en temps réel
En sélectionnant Show Gemini, la plateforme demande l’autorisation d’accéder à votre caméra. Une fois activée, Gemini peut analyser en direct ce que vous lui montrez. Exemples d’utilisation :
- Identification d’objets : Demandez à Gemini de reconnaître un objet et d’expliquer son utilité.
- Reconnaissance de marques : Montrez une montre pour que Gemini identifie sa marque et son modèle.
- Assistance technique : Lors du démontage d’un appareil, demandez à Gemini de vous guider.
Modes de communication avec Gemini
Que ce soit en partage d’écran ou avec la caméra activée, vous pouvez interagir avec Gemini de deux manières :
- Vocalement : Autorisez l’accès au microphone pour parler à Gemini.
- Par écrit : Utilisez le clavier pour taper vos questions.
Ces réglages s’effectuent dans la colonne de droite de l’interface, en sélectionnant Audio ou Texte dans le menu déroulant Output format. Notez que la synthèse vocale de Gemini 2.0 Flash Experimental utilise principalement des voix en anglais. Cependant, l’IA comprend et répond en français, bien que l’accent puisse être marqué.
Pour finir, Google AI Studio, associé à Gemini 2.0 Flash Experimental, offre des fonctionnalités avancées pour interagir en temps réel via le partage d’écran ou la caméra. Cette innovation ouvre de nouvelles perspectives pour l’assistance virtuelle et l’interaction homme-machine.
