Utilisation de l'ordinateur et navigateur (Computer Use) : donner des mains à Codex

📚 Navigation dans la série : Le chapitre précédent 16 · Sécurité et limites des risques a défini les limites et les risques associés aux actions de Codex. Ce chapitre ouvre une nouvelle perspective — permettre à Codex de regarder directement votre écran, d'interagir avec vos applications de bureau et de manipuler votre navigateur : tester une application native, reproduire un bug visible uniquement sur l'interface graphique ou réaliser des clics sur vos sites connectés. Alors que les chapitres précédents cantonnaient Codex aux fichiers et à la ligne de commande, c'est la première fois qu'il interagit avec une interface graphique. Le chapitre suivant 18 · Configuration détaillée du fichier config.toml reviendra sur le fichier de configuration pour expliquer comment régler l'ensemble des paramètres.

⚠️ Fonctionnalité expérimentale sujette à modification. Les fonctions d'utilisation de l'ordinateur (Computer Use), l'extension Chrome et le navigateur intégré décrits ici sont en évolution rapide. Fiez-vous aux menus, raccourcis et comportements affichés sur votre écran et décrits dans la documentation officielle de Codex.

OpenAI impose une limite géographique stricte à la fonctionnalité Computer Use : elle est disponible au lancement sur macOS et Windows, mais exclut l'Espace Économique Européen (EEE), le Royaume-Uni et la Suisse. Il ne s'agit pas d'une restriction réseau, mais d'une désactivation de la fonctionnalité selon la zone géographique — si vous résidez à Londres, vous ne pourrez pas l'activer même avec un proxy.

J'ai remarqué cette restriction l'année dernière en parcourant la structure de la documentation dans le dossier app : les pages computer-use, browser et chrome-extension sont spécifiquement dédiées à l'interaction de Codex avec les interfaces graphiques, avec plus de détails que la section sur le bac à sable. Cet investissement d'OpenAI montre une conviction forte : une IA limitée à la lecture de fichiers et à l'exécution de commandes finira par se heurter aux actions qui ne peuvent être réalisées que via une interface graphique.

Prenons un exemple concret : j'analysais l'année dernière un outil développé en Electron. Un bug provoquait un plantage uniquement lorsque la fenêtre était redimensionnée à une largeur précise, alors que les tests en ligne de commande passaient avec succès et que les logs restaient vides. Auparavant, pour ce type de bug visible uniquement à l'écran, je devais redimensionner la fenêtre manuellement, prendre des captures d'écran et lui décrire le comportement. La fonctionnalité Computer Use vise à supprimer cette étape en permettant à Codex de regarder l'écran et de reproduire le bug lui-même.

Ce chapitre aborde trois aspects : les trois méthodes d'accès aux interfaces par Codex (le navigateur intégré, l'extension Chrome et l'utilisation de l'ordinateur), leur activation et les règles de sécurité associées lorsqu'il interagit avec votre bureau ou votre navigateur réel.

À la fin de ce chapitre, vous aurez en main :

• Une définition simple de Computer Use, ses cas d'usage et les situations où il convient de l'éviter.
• La distinction claire entre les trois méthodes d'accès : le navigateur intégré (localhost) → l'extension Chrome (sites avec session active) → l'utilisation de l'ordinateur (bureau complet), accompagnée d'un tableau récapitulatif.
• Les étapes de configuration pour chaque méthode (installation du plugin, permissions système requises, syntaxe d'appel @) et les limites géographiques ou de plateforme.
• Le comportement par défaut lors des accès web (validation requise pour chaque nouveau site), la gestion des listes blanches et noires (allowlist / blocklist), et l'option permettant de désactiver les validations.
• Les risques associés à la manipulation de votre bureau ou de votre navigateur réel par rapport au bac à sable, les sécurités intégrées et les bonnes pratiques à respecter.
• Un guide pratique pour effectuer un test simple : lire une page locale avec le navigateur intégré.

---

01 Qu'est-ce que Computer Use et quand l'utiliser ?

En résumé : Computer Use permet à Codex d'agir comme un utilisateur humain en analysant l'écran et en manipulant le clavier et la souris. L'assistant peut analyser les fenêtres, menus et boutons sous macOS ou Windows, effectuer des clics, saisir du texte et naviguer dans les menus. Cette fonction intervient lorsque la ligne de commande ou les intégrations classiques (plugins ou MCP) ne suffisent pas.

La documentation officielle définit son rôle principal : cette fonction doit être réservée aux cas où la vérification d'une tâche ne peut se limiter à l'examen de fichiers ou de sorties de commandes. Par exemple :

• Tester le fonctionnement d'une application macOS ou Windows en cours d'écriture, un émulateur iOS ou tout autre logiciel de bureau.
• Reproduire un bug visible uniquement sur l'interface graphique (comme le redimensionnement de fenêtre mentionné plus haut).
• Modifier un paramètre d'application accessible uniquement via l'interface utilisateur.
• Récupérer des informations dans un logiciel ou une source de données ne disposant pas d'API ou de plugin d'intégration.
• Enchaîner des actions impliquant plusieurs applications distinctes.

Analogie : Recruter un stagiaire pour manipuler directement l'ordinateur à vos côtés, plutôt que de collaborer avec un collègue à distance. Avec un collègue à distance (ligne de commande ou plugins), la communication se limite à l'envoi d'instructions et à la réception de fichiers, sans accès à votre écran. La fonction Computer Use agit comme un stagiaire présent à votre bureau : il utilise votre souris et votre clavier, analyse l'écran et vous permet de suivre en temps réel chacune de ses actions. Bien que pratique, il manipule votre environnement de travail réel et non une machine virtuelle isolée — un point crucial détaillé dans la section de sécurité.

La documentation officielle met en garde les développeurs sur un choix fréquent :

Pour les applications Web développées localement, utilisez en priorité le navigateur intégré (in-app browser) plutôt que la fonctionnalité Computer Use.

Pourquoi ? Parce que Computer Use est la méthode la plus lourde et la plus lente — elle nécessite des captures d'écran successives, le calcul de coordonnées et le déplacement du curseur. Privilégiez les outils les plus légers. L'ordre de priorité recommandé est le suivant : utilisez les plugins ou MCP disponibles, passez par le navigateur intégré pour les pages web, et réservez Computer Use aux applications de bureau natives, aux émulateurs ou aux logiciels sans API. La section suivante détaille ces trois approches.

💡 En résumé : Computer Use permet à Codex de lire votre écran et de manipuler le clavier et la souris sur l'ensemble du bureau. C'est la méthode la plus lourde, à réserver aux applications natives, aux bugs graphiques spécifiques et aux outils sans API. Utilisez le navigateur intégré pour les applications web locales.

---

02 Distinguer les trois méthodes : Navigateur intégré, extension Chrome et contrôle de l'ordinateur

Avant de commencer, clarifions la différence entre les trois méthodes d'accès aux interfaces graphiques par Codex, qui sont souvent confondues. La documentation consacre une section dédiée à chacune d'elles, confirmant qu'il s'agit de fonctionnalités distinctes.

Analogie : Choisir son moyen de transport pour se rendre dans une autre ville. Pour un trajet court (une page web locale), vous vous déplacez à pied — c'est le navigateur intégré. Pour vous rendre dans des bureaux sécurisés où vous possédez un badge d'accès (des sites nécessitant une authentification active), vous prenez votre voiture personnelle équipée du badge — c'est l'extension Chrome. Pour explorer des zones sans accès routier (applications natives du bureau, logiciels sans API), vous devez louer un véhicule tout-terrain — c'est le contrôle de l'ordinateur. Chaque moyen permet de se déplacer, mais un mauvais choix peut rendre la tâche irréalisable ou inutilement complexe.

Détaillons le rôle de chaque méthode :

Le navigateur intégré (in-app browser) : Il s'agit d'un navigateur propre à Codex affiché au sein de sa fenêtre, dont vous partagez la vue de rendu. Il est destiné aux serveurs de développement locaux (localhost), à la prévisualisation de fichiers et à la consultation de pages publiques sans connexion. Il fonctionne de manière isolée sans accéder aux sessions, cookies, extensions ou onglets ouverts de votre navigateur Chrome quotidien. C'est l'outil idéal pour vérifier le rendu d'une page web locale en cours de développement.

L'extension Chrome (Codex Chrome extension) : Elle intervient lorsque la tâche exige l'accès à une session utilisateur active. La documentation cite comme exemples l'interaction avec LinkedIn, Salesforce, Gmail ou vos outils internes d'entreprise. L'extension s'appuie sur les sessions et identifiants actifs de votre navigateur Chrome pour interagir avec ces services.

Le contrôle de l'ordinateur (Computer Use) : Comme décrit précédemment, il permet d'agir sur l'ensemble du bureau (applications natives, émulateurs, enchaînements multi-applications) avec un fonctionnement plus lourd et plus lent.

Ce tableau récapitulatif vous aide à choisir la méthode adaptée à votre tâche :

Caractéristique	Navigateur intégré	Extension Chrome	Contrôle de l'ordinateur
Éléments ciblés	Pages dans le navigateur de Codex	Onglets de votre navigateur Chrome	Bureau macOS / Windows complet
Cas d'usage types	localhost, aperçu de fichiers, pages publiques	LinkedIn, Salesforce, Gmail, intranet	Applications natives, émulateurs, flux multi-applications
Accès aux sessions actives	❌ Non, environnement isolé	✅ Oui, utilise les sessions Chrome	Dépend de l'application ciblée
Syntaxe d'appel	@Browser ou mention de l'usage du navigateur	@Chrome	@Computer ou @NomApp
Composant requis	Plugin Browser	Plugin Chrome + extension Chrome	Plugin Computer Use
Poids / Vitesse	Très léger et rapide	Modéré	Lourd et plus lent

Règle simple de répartition : utilisez le navigateur intégré pour les pages locales, l'extension Chrome pour les sites nécessitant une authentification, et le contrôle de l'ordinateur pour les interactions avec le bureau. Les sections suivantes détaillent leur mise en œuvre.

💡 En résumé : Les trois options d'accès graphique sont le navigateur intégré (localhost et pages publiques sans authentification), l'extension Chrome (sites connectés) et le contrôle de l'ordinateur (bureau complet). Choisissez l'outil le plus léger adapté à votre besoin pour simplifier l'exécution.

---

03 Le navigateur intégré (méthode recommandée par défaut)

Commençons par le navigateur intégré, la méthode la plus simple et la plus sûre. Son rôle consiste à partager une vue de rendu d'une page web avec Codex pour prévisualiser et tester des applications locales.

Installation et ouverture

1. Dans Codex, accédez au menu Plugins, recherchez et activez le plugin Browser.
2. Pour ouvrir le navigateur intégré, vous pouvez :
   • Cliquer sur l'icône correspondante dans la barre d'outils.
   • Cliquer sur un lien URL dans le chat.
   • Saisir manuellement une adresse dans la barre de navigation.
   • Utiliser le raccourci clavier : Cmd+Shift+B sous macOS, ou Ctrl+Shift+B sous Windows.

Permettre à Codex de manipuler le navigateur

Une fois ouvert, vous pouvez demander à Codex d'interagir avec le navigateur intégré pour effectuer des clics, saisir des données, analyser le rendu, prendre des captures d'écran, télécharger des fichiers ou exécuter du code JavaScript pour vérifier une correction.

Pour l'activer, mentionnez l'usage du navigateur ou utilisez l'instruction @Browser dans votre consigne. Exemple :

Ouvre http://localhost:3000/settings avec le navigateur intégré pour reproduire le bug d'affichage. Corrige uniquement les éléments qui se superposent, sans modifier le reste.

L'outil de批注 (Annotations)

L'un des avantages majeurs du navigateur intégré est le système d'annotations (commentaires). Lorsqu'un problème d'affichage est visible uniquement sur le rendu graphique, vous pouvez sélectionner l'élément concerné à l'écran et y associer un commentaire pour guider Codex avec précision.

Le fonctionnement général est le suivant :

• Activez le mode annotation (Annotation mode), sélectionnez un élément ou une zone à l'écran et saisissez votre commentaire.
• Utilisez la combinaison Shift + clic pour tracer une zone de sélection.
• Utilisez la combinaison Cmd + clic pour envoyer immédiatement votre commentaire.

Une fois l'annotation enregistrée, adressez un message à Codex dans le chat pour lui demander de la traiter. Soyez précis dans vos annotations, par exemple :

Ce bouton dépasse du conteneur sur les petits écrans. Fais en sorte qu'il reste sur une seule ligne si possible, sinon applique un retour à la ligne, sans modifier la hauteur de la carte.

Une option de configuration (icône de configuration sur l'annotation) vous permet d'ajuster directement sur l'interface les paramètres de police, taille de texte, marges et couleurs, afin d'observer le résultat en direct avant de soumettre la modification à Codex. Cela permet d'obtenir un ajustement visuel précis.

Cette méthode de sélection est très efficace pour les ajustements esthétiques fins, par exemple pour repositionner une info-bulle (tooltip) qui masque des données à l'écran en demandant simplement de la déplacer sans recouvrir les graphiques.

Gardez en tête la limite d'isolation suivante décrite dans la documentation :

Le navigateur intégré ne prend pas en charge les processus d'authentification, les pages nécessitant une session active, vos paramètres de navigateur habituels, les cookies, les extensions ou vos onglets ouverts. Il est réservé aux pages accessibles publiquement et sans connexion.

Les accès nécessitant une connexion active doivent être orientés vers l'extension Chrome.

💡 En résumé : Le navigateur intégré est un composant propre à Codex qui s'active avec le plugin Browser et l'appel @Browser. Il simplifie les tests de rendu locaux et supporte les annotations visuelles sur les éléments de l'interface. Il n'accède pas à vos sessions connectées.

---

04 L'extension Chrome (pour les sites avec session active)

Lorsque votre tâche nécessite l'accès à une session utilisateur active (consulter LinkedIn, Salesforce, envoyer un e-mail via Gmail ou interagir avec vos outils d'entreprise), vous devez utiliser l'extension Chrome.

Installation

L'installation s'effectue depuis le gestionnaire de plugins :

1. Dans Codex, allez dans le menu Plugins.
2. Activez le plugin Chrome.
3. Suivez les étapes de l'assistant : il vous guidera pour installer l'extension Chrome Codex depuis le Chrome Web Store et accepter les autorisations requises.
4. Ouvrez Chrome et assurez-vous que l'extension affiche le statut Connected (Connecté).

Une fois l'extension configurée, ouvrez une nouvelle session Codex. L'assistant proposera d'utiliser Chrome lorsqu'une tâche nécessite l'accès à un site connecté. Vous pouvez également le solliciter directement dans votre invite :

@Chrome ouvre Salesforce et mets à jour les fiches clients à partir de ces notes de réunion.

Si Chrome est fermé, Codex peut l'ouvrir automatiquement. Par commodité, les onglets ouverts par Codex sont regroupés au sein d'un groupe d'onglets (tab group) spécifique pour ne pas encombrer votre barre de navigation.

Contrôle des accès web : Validation requise par défaut

C'est un aspect important du fonctionnement de l'extension :

Par défaut, Codex demande votre approbation avant d'interagir avec un nouveau site internet. Cette validation est requise par nom de domaine (host, exemple : example.com).

Trois options s'offrent à vous lors de la demande d'accès :

• Autoriser pour la session actuelle uniquement.
• Toujours autoriser le domaine pour ne plus afficher la demande à l'avenir.
• Refuser l'accès au site.

Vous pouvez affiner ces droits dans les paramètres de Computer Use en gérant des listes d'autorisation (allowlist) et d'interdiction (blocklist) :

• Les domaines en liste blanche sont accédés sans demande de confirmation.
• Les domaines en liste noire sont bloqués d'office.
• Retirer un domaine de la liste blanche affichera de nouveau une validation au prochain accès. Retirer un domaine de la liste noire le soumettra de nouveau à validation plutôt que de le bloquer d'office.

Trois paramètres de sécurité importants sont détaillés ci-dessous :

Paramètre	Comportement	Vigilance
Validation pour chaque nouveau site	Activé par défaut	Première barrière de sécurité, conservez-la active.
Toujours autoriser le contenu web (always allow browser content)	Désactivé par défaut	Une fois activé, Codex accède à tous les sites sans validation. À n'utiliser qu'en connaissance de cause.
Historique du navigateur (browser history)	Validation requise à chaque accès	L'accès à l'historique exige une validation à chaque demande et ne peut être rendu permanent pour protéger vos données de navigation.

La restriction d'accès permanent à l'historique vise à empêcher qu'un site contenant une injection de requêtes ne lise vos données d'historique (qui peuvent contenir des adresses internes ou des termes de recherche sensibles) pour les transmettre à l'extérieur.

Résolution des problèmes de connexion

Si l'extension ne parvient pas à se connecter à Codex, suivez les étapes de vérification suivantes :

1. Cliquez sur l'icône de l'extension dans la barre d'outils de Chrome pour vérifier le statut Connected. Si elle est déconnectée ou signale l'absence du composant local (native host), allez dans le menu Plugins de Codex, supprimez puis réinstallez le plugin Chrome pour relancer l'assistant d'installation.
2. Dans Codex, assurez-vous que le plugin Chrome est bien activé dans la liste.
3. Vérifiez que vous utilisez le profil d'utilisateur Chrome (profile) sur lequel l'extension a été installée.
4. Ouvrez une nouvelle session pour réinitialiser les connexions.
5. Redémarrez Chrome et Codex. En cas de blocage persistant, désinstallez l'extension de Chrome, retirez le plugin de Codex et recommencez l'installation.
6. Si la connexion est établie mais que l'outil ne fonctionne pas, utilisez la commande /feedback en précisant l'identifiant de la session.

Note technique : Si Codex doit charger des fichiers locaux dans le navigateur, vous devez activer l'option « Autoriser l'accès aux URL de fichiers » (Allow access to file URLs) dans les détails de l'extension au sein de Chrome, puis relancer la tâche.

💡 En résumé : L'extension Chrome permet d'interagir avec vos sessions web connectées. Elle s'installe depuis le menu Plugins et se pilote avec @Chrome. Chaque nouveau site exige une validation par défaut. Vous pouvez ajuster les droits d'accès via les listes d'autorisation et d'interdiction dans les paramètres.

---

05 Le contrôle de l'ordinateur (Computer Use pour le bureau complet)

La méthode la plus large permet à Codex d'analyser l'écran et de manipuler le clavier et la souris sur l'ensemble de votre bureau sous macOS ou Windows. Elle comporte des exigences fortes en matière de droits et de localisation.

Restrictions de plateforme et de localisation

• Systèmes pris en charge : macOS et Windows. Linux n'est pas supporté.
• Limites géographiques : La fonctionnalité n'est pas disponible pour les utilisateurs résidant dans l'Espace Économique Européen (EEE), au Royaume-Uni et en Suisse.

Installation et configuration des privilèges

1. Dans les paramètres de Codex, allez dans l'onglet Computer Use et cliquez sur Install pour ajouter le plugin.
2. Configurez les accès système requis selon votre plateforme :

Sous macOS, vous devez autoriser deux permissions d'accès (des invites s'affichent au premier lancement) :

Permission	Rôle
Enregistrement de l'écran (Screen Recording)	Permet à Codex d'analyser visuellement l'interface des applications
Accessibilité (Accessibility)	Permet à Codex de simuler les clics, la saisie et les déplacements

Si ces accès ne fonctionnent pas, allez dans les Réglages Système > Confidentialité et sécurité de macOS et cochez l'application Codex dans les sections Enregistrement de l'écran et Accessibilité.

Sous Windows, la gestion des accès est différente et impose des contraintes de premier plan :

Sous Windows, le contrôle de l'ordinateur s'exécute sur le bureau actif et prend le contrôle du clavier et de la souris en premier plan.

Cela signifie que vous ne pouvez pas utiliser votre ordinateur pendant que Codex exécute sa tâche. Si vous devez lancer des traitements longs en votre absence, vous devez laisser votre session ouverte et active (sans verrouillage d'écran) ou exécuter Codex au sein d'une machine virtuelle Windows dédiée pour qu'il prenne le contrôle de cet environnement isolé sans bloquer votre propre bureau.

Syntaxe d'appel

Utilisez l'instruction @Computer ou mentionnez le nom d'une application comme @Chrome en décrivant précisément l'enchaînement des étapes à réaliser. Exemples :

Ouvre l'application avec le contrôle de l'ordinateur et reproduis les étapes d'inscription pour détecter le bug. Corrige le code concerné et valide la modification en rejouant le scénario visuellement.

Ouvre @Chrome et vérifie si la page de validation de commande s'affiche correctement après la mise à jour du code.

La documentation recommande d'utiliser en priorité les plugins ou MCP dédiés lorsqu'ils existent, et de ne recourir au contrôle visuel via Computer Use que si aucune autre interface technique n'est disponible.

Distinction entre permissions système et approbations applicatives

Il convient de distinguer ces deux notions :

• Les permissions système (droits d'accessibilité de macOS) donnent à Codex la capacité technique d'agir sur l'écran.
• Les approbations applicatives définissent les applications que vous autorisez Codex à manipuler. Codex demande votre accord avant d'interagir avec une nouvelle application. Vous pouvez choisir de Toujours autoriser un logiciel pour ne plus afficher l'invite. Cette liste d'applications autorisées est gérable dans l'onglet Computer Use des paramètres de Codex.
• Les accès aux fichiers et à la console (CLI) restent soumis aux règles classiques de bac à sable et d'approbation (voir chapitres 15 et 16), indépendamment de l'activation de Computer Use.

Certaines actions sensibles ou potentiellement destructrices déclenchent des validations de confirmation supplémentaires.

Déverrouillage temporaire (macOS uniquement)

Une fonctionnalité avancée de déverrouillage temporaire (Locked use) est disponible uniquement sous macOS. Désactivée par défaut, elle permet à Codex d'exécuter des tâches de contrôle de bureau même si votre session macOS est verrouillée.

Son activation installe un plugin d'authentification lié à macOS pour permettre à Codex de déverrouiller temporairement la session pour ses traitements, tout en maintenant la protection du système. Des sécurités strictes encadrent cette fonction :

• Les autorisations de déverrouillage sont éphémères et limitées à la tâche en cours.
• Le déverrouillage n'est active que pour les sessions Codex en cours de traitement.
• L'écran est masqué pendant toute la durée du déverrouillage pour protéger la confidentialité de l'affichage.
• Tout déplacement de la souris ou appui touche sur le clavier physique réactive immédiatement le verrouillage macOS et interrompt le traitement.

Cette option répond à des besoins spécifiques de traitement en arrière-plan et n'est pas recommandée pour un usage classique.

💡 En résumé : Le contrôle de l'ordinateur (Computer Use) offre un accès complet au bureau sous macOS et Windows, mais exclut la zone EEE / Royaume-Uni / Suisse et Linux. Il exige des droits d'accessibilité sous macOS et bloque le premier plan sous Windows. Les applications ciblées doivent être approuvées individuellement.

---

06 Sécurité : Les risques liés aux accès réels sur le système

Cette section détaille les implications de sécurité : contrairement aux commandes s'exécutant dans un bac à sable isolé, le contrôle de l'ordinateur et l'extension Chrome agissent directement sur votre session utilisateur réelle et vos applications actives.

Nature des risques

Le contrôle de l'ordinateur donne à Codex la visibilité sur votre écran, l'accès au presse-papiers et la capacité de simuler des clics et de la saisie. Deux risques majeurs sont à prendre en compte :

• L'accès à vos sessions actives : L'extension utilise vos connexions établies. Si vous êtes connecté à un service, Codex dispose du même niveau d'accès que vous. La documentation souligne ce risque :

  Un site web peut héberger des contenus malveillants ou trompeurs. Toute action de clic ou de soumission de formulaire réalisée par l'IA sous votre session active sera considérée par le service comme une action effectuée par vous-même.

• L'injection de requêtes (prompt injection) : Comme décrit au chapitre 16, un site web externe peut contenir des instructions dissimulées destinées à l'IA. Ce risque est accru lors de la navigation sur le web puisque Codex analyse des pages que vous ne contrôlez pas.

Sécurités logicielles intégrées

Plusieurs barrières logicielles limitent ces risques :

• Une demande d'approbation s'affiche pour chaque nouveau domaine web ou nouvelle application.
• Vous pouvez interrompre l'exécution de Codex ou reprendre le contrôle de la souris à tout moment.
• Certaines cibles sensibles sont bloquées par défaut :

  Le contrôle de l'ordinateur ne peut pas interagir avec l'application terminal de votre système, ni avec l'interface de Codex elle-même (pour éviter tout contournement des règles de sécurité). Il ne peut pas non plus valider des invites d'administration système (type sudo) ou des demandes de permissions de sécurité macOS/Windows.

Cette impossibilité de valider les invites système garantit que les choix d'accès restent sous votre contrôle exclusif.

Bonnes pratiques de sécurité

Voici les règles de comportement à appliquer pour sécuriser l'usage de ces fonctions graphiques :

Contexte	Pratique à éviter	Pratique à privilégier
Planification	Lancer un enchaînement complexe sur plusieurs logiciels	Découper le travail en ciblant une seule application ou un scénario précis par étape
Confidentialité	Laisser des outils sensibles ou personnels ouverts à l'écran	Fermer les gestionnaires de mots de passe ou les applications contenant des données personnelles avant le traitement
Usage Windows	Tenter d'utiliser la souris pendant une tâche de premier plan	Laisser Codex exécuter sa tâche, ou utiliser une machine virtuelle dédiée
Accès réseau	Laisser l'assistant naviguer en autonomie sans surveillance	Rester présent pour valider chaque invite de navigation
Listes de droits	Valider toutes les invites de site web avec « Toujours autoriser »	N'accorder l'autorisation permanente qu'aux domaines de confiance confirmée
Transactions	Laisser Codex manipuler des pages de paiement ou d'achat	Effectuer les actions de paiement ou de modification d'abonnement vous-même
Comportement anormal	Attendre de voir si l'assistant corrige une erreur de navigation	Interrompre immédiatement la session pour reprendre la main

Pour limiter les interactions avec vos données de navigation personnelles, vous pouvez configurer Codex pour utiliser un navigateur secondaire distinct de votre navigateur par défaut pour ses analyses.

💡 En résumé : Le contrôle graphique interagit avec votre environnement réel et vos sessions connectées. La sécurité repose sur les invites de validation de site/application, l'impossibilité pour l'IA d'interagir avec le terminal ou les invites de sécurité système, et l'application de bonnes pratiques comme le découpage des tâches et la fermeture des outils sensibles.

---

07 En pratique : Tester le navigateur intégré avec une page locale

Voici comment vérifier le bon fonctionnement du navigateur intégré en ouvrant une page web locale simple. Cette méthode est sûre et ne nécessite pas de permissions système complexes ou d'accès à vos comptes personnels.

Étape 1 : Lancer un serveur web local

Créez un serveur web minimal dans un dossier pour servir de cible de test. Exécutez dans votre console :

python3 -m http.server 3000

Le terminal doit confirmer le démarrage du serveur sur le port 3000. Vous pouvez ouvrir http://localhost:3000 dans votre navigateur habituel pour vérifier qu'il affiche la liste des fichiers du répertoire.

Étape 2 : Activer et ouvrir le navigateur intégré

1. Dans Codex, assurez-vous que le plugin Browser est activé dans l'onglet Plugins.
2. Ouvrez le navigateur intégré à l'aide du raccourci clavier :
   • macOS : Cmd+Shift+B
   • Windows : Ctrl+Shift+B

La fenêtre du navigateur intégré doit s'ouvrir au sein de l'interface de Codex.

Étape 3 : Demander à Codex d'analyser la page locale

Saisissez la consigne suivante dans le chat de Codex :

Ouvre http://localhost:3000 avec le navigateur intégré, liste les fichiers affichés à l'écran et prends une capture d'écran du résultat.

Comportement attendu : Le navigateur intégré affiche la page http://localhost:3000. Codex analyse le rendu graphique, liste les fichiers dans le chat et présente une capture d'écran de l'affichage. Si une invite de confirmation s'affiche au premier accès vers localhost, validez-la pour autoriser la navigation. Vous venez de valider le fonctionnement de base du navigateur intégré.

Étape 4 (Facultatif) : Tester le mode annotation

Activez le mode annotation dans la barre d'outils du navigateur de Codex, sélectionnez un élément de la page de test et associez-y un commentaire (par exemple : « Ajuste la présentation de cette liste »). Transmettez ensuite la demande à Codex dans le chat pour observer sa prise en compte.

Cette manipulation simple valide la configuration du navigateur intégré de Codex. Les autres méthodes (extension Chrome ou contrôle de bureau) suivent une logique similaire avec des étapes d'autorisation supplémentaires.

💡 En résumé : Ce test rapide consiste à démarrer un serveur Python local, ouvrir le navigateur intégré avec le raccourci clavier et demander à Codex de lire et capturer la page de test. C'est la méthode idéale pour débuter avec les outils d'interface visuelle.

---

08 Résumé

Ce chapitre a présenté les différentes méthodes d'accès visuel et graphique proposées par Codex pour dépasser les limites de la console et du système de fichiers.

Voici un récapitulatif des points clés à retenir :

Dimension	Navigateur intégré	Extension Chrome	Contrôle de l'ordinateur
Périmètre d'action	Pages locales, localhost, fichiers de projet	Onglets et sites ouverts dans votre Chrome réel	macOS / Windows bureau complet
Accès session	Isolé, pas de cookies personnels	Utilise vos sessions actives (LinkedIn, Salesforce)	Dépend de l'application lancée
Sécurités	Raccourci Cmd/Ctrl+Shift+B, annotations	Validation par domaine, gestion de listes blanches/noires	Permissions d'accessibilité système, validation applicative
Limites	Pas d'authentification supportée	Déconnexion possible si profils multiples	Incompatible EEA / Royaume-Uni / Suisse, Linux
Usage recommandé	À privilégier par défaut pour les applications web	Pour les tâches sur services authentifiés	À réserver aux outils de bureau sans API

Vous êtes désormais en mesure de choisir la méthode graphique appropriée selon votre besoin, de configurer le navigateur intégré pour vos projets locaux, de gérer les accès de l'extension Chrome via les listes d'autorisation, de comprendre les exigences d'accessibilité de Computer Use sous macOS et les contraintes de premier plan sous Windows, et d'appliquer les règles de sécurité indispensables lors de l'interaction avec votre environnement réel.

---

Le chapitre suivant 18 · Configuration détaillée du fichier config.toml détaille la centralisation de ces paramètres : comment configurer l'ensemble des options, comportements de bac à sable, listes d'accès ou préférences de modèles au sein du fichier config.toml ? Quels sont les paramètres indispensables, les valeurs par défaut et les effets de chaque modification ? Nous verrons comment consolider notre environnement de travail dans un fichier unique.

---

Lectures recommandées

• Abonnements et tarification
• Prise en main de l'interface en ligne de commande CLI
• Résolution des erreurs fréquentes : dépannage et configurations