Skip to content

Control del ordenador y del navegador (Computer Use): dándole manos a Codex

📚 Navegación de la serie: El artículo anterior 16 · Límites de seguridad y riesgos delimitó con claridad "qué tantos problemas puede causar Codex y dónde están sus límites". Este artículo le abre una puerta adicional: permitir que Codex vea tu pantalla, interactúe con tus aplicaciones de escritorio y abra tu navegador: evaluar una aplicación nativa, reproducir un bug que solo aparece en la interfaz o interactuar con sitios web donde ya tienes sesión iniciada. En los artículos anteriores, el trabajo de Codex se limitaba a "archivos y consola"; esta es la primera vez que interactúa con la interfaz gráfica. El próximo artículo 18 · Configuración detallada en config.toml volverá al archivo de configuración para detallar todos los interruptores paso a paso.

⚠️ Función experimental, sujeta a cambios con las versiones. El control de ordenadores (Computer Use), la extensión de Chrome y el navegador interno descritos en este artículo siguen en desarrollo continuo; cualquier mención a accesos específicos, nombres de menús, comportamientos predeterminados o atajos de teclado se rige por lo que observes en tu interfaz y la documentación oficial de Codex; las versiones futuras podrían variar.

OpenAI traza una línea geográfica muy estricta en su documentación oficial para Computer Use: al lanzarse, está disponible en macOS y Windows, excepto en el Espacio Económico Europeo (EEE), el Reino Unido y Suiza. No se trata de un problema de conexión, sino que la funcionalidad está desactivada por región: si te encuentras en Londres, incluso con una VPN de red no podrás activarla.

La primera vez que noté esto fue el año pasado al revisar el directorio de documentación de la app: las páginas computer-use, browser y chrome-extension se dedican exclusivamente a detallar "cómo interactúa Codex con la interfaz gráfica", ocupando más espacio que el capítulo del sandbox. Que OpenAI haya dedicado tanto contenido a esto demuestra que tiene claro un punto: una AI que solo sabe leer archivos y ejecutar comandos tarde o temprano chocará contra el muro de "esto solo se puede resolver en la interfaz".

Un ejemplo real que viví: el año pasado depuraba una pequeña herramienta en Electron que fallaba únicamente cuando la ventana se arrastraba a un ancho específico; las pruebas en consola funcionaban perfectamente y los registros estaban limpios. Para este tipo de fallos que "solo aparecen en la interfaz", antes tenía que redimensionar la ventana manualmente, tomar capturas y describírselo. Computer Use viene justo a derribar este muro: permite que Codex examine la pantalla y reproduzca el error por sí mismo.

Este artículo explicará tres aspectos: las tres vías de Codex para interactuar con la interfaz gráfica (control del ordenador, extensión de Chrome y navegador interno), cómo configurarlas y dónde se ubican los límites de seguridad al interactuar con tu "escritorio y navegador reales".

Al terminar este artículo, obtendrás:

  • Una explicación sencilla sobre qué es Computer Use, cuándo conviene usarlo (y cuándo no hacerlo).
  • La distinción clara de las tres vías: navegador interno (localhost) → extensión de Chrome (sitios con sesión iniciada) → control del ordenador (todo el escritorio), junto con una tabla comparativa.
  • Los pasos para habilitar cada una de las tres vías (qué plugins instalar, qué permisos otorgar y cómo invocarlas con @), junto con las restricciones de plataforma y geográficas.
  • El comportamiento por defecto de navegación (donde pregunta por cada sitio nuevo por defecto), la gestión de allowlist / blocklist y qué interruptor desactivará las alertas.
  • Los riesgos que plantea controlar tu "escritorio o navegador reales" frente al sandbox, las medidas de seguridad oficiales y las reglas que debes respetar.
  • Una práctica básica paso a paso con el resultado esperado: leer una página local mediante el navegador interno.

01 Comprender primero: qué es realmente Computer Use y cuándo usarlo

Definamos el concepto de entrada: Computer Use significa permitir que Codex interactúe con la interfaz gráfica como un humano ("ver la pantalla, mover el ratón y usar el teclado"): examina ventanas, menús y botones en macOS o Windows, hace clics, escribe y navega por opciones. Solo se recurre a ella cuando las herramientas en consola o las integraciones estructuradas (plugins o MCP) no tienen alcance.

La recomendación oficial lo expresa directamente: se utiliza únicamente cuando la tarea "no se puede verificar leyendo archivos o salidas de comandos". Por ejemplo:

  • Probar flujos en aplicaciones nativas de macOS, Windows, simuladores de iOS u otras herramientas de escritorio que estés desarrollando con Codex.
  • Reproducir un bug que solo se manifiesta en la interfaz gráfica (como el redimensionamiento de ventana descrito arriba).
  • Modificar configuraciones de una aplicación que obligatoriamente requieren interactuar con la interfaz.
  • Buscar información en herramientas o fuentes de datos que carezcan de plugins disponibles.
  • Ejecutar flujos de trabajo que involucren múltiples aplicaciones.

Analogía: Contratar a un becario que se sienta a tu lado para hacer clic en el ordenador, en lugar de un compañero remoto que solo responde correos. Al compañero remoto (consola / plugins) solo le envías instrucciones y recibes sus entregas, sin que pueda tocar tu escritorio; el becario de Computer Use está físicamente en tu puesto de trabajo: utiliza tu ratón, tu teclado y examina lo que hay en la pantalla, permitiéndote ver cada paso que da. Aunque es práctico, interactúa con tu escritorio real y no con un entorno de simulación aislado; detallaremos esto en la sección de seguridad.

Aquí hay una regla donde los principiantes suelen equivocarse y que la documentación oficial recalca constantemente:

对于你在本地构建的 Web 应用,先用内置浏览器(in-app browser),而不是 Computer Use。 Para las aplicaciones web que desarrolles en local, utiliza primero el navegador interno (in-app browser) en lugar de Computer Use.

¿Por qué? Porque Computer Use es la herramienta más pesada y lenta: requiere capturar pantalla, calcular coordenadas y mover el cursor fotograma a fotograma. Si se puede resolver con opciones más ligeras, no compliques el flujo. El orden recomendado es: usa plugins o MCP primero si están disponibles; prefiere las herramientas de navegación para páginas web; y sube a Computer Use solo si requieres acceder al escritorio real, simuladores o herramientas sin interfaces externas. Desglosaremos estas tres vías a continuación.

💡 Resumen en una frase: Computer Use permite a Codex examinar la pantalla, mover el cursor y escribir en el teclado para controlar el escritorio real; es la vía más pesada, reservada para apps nativas, fallos específicos de la interfaz o fuentes de datos sin plugins; usa el navegador interno primero para desarrollo web local en lugar de abrir esta opción.


02 Distinguir las tres vías: navegador interno / extensión de Chrome / control del ordenador

Antes de avanzar, aclaremos la mayor fuente de confusión: Codex ofrece tres vías para interactuar con la interfaz gráfica, y los principiantes suelen elegir la equivocada. La documentación oficial dedica una sección a cada una, confirmando que son herramientas distintas.

Analogía: Tres medios de transporte para hacer una gestión en otra ciudad. Si el destino es cercano en la misma ciudad (páginas web locales), puedes ir caminando: es rápido y no requiere billete; esto es el navegador interno. Si vas a un edificio que visitas frecuentemente y requiere tu credencial de acceso (sitios con sesión iniciada), debes usar tu propio coche con la tarjeta de acceso integrada: esto es la extensión de Chrome. Si debes ir a una zona rural sin carreteras habilitadas (escritorio real o aplicaciones sin interfaces externas), requieres alquilar un todoterreno preparado para caminos difíciles: esto es el control del ordenador. Los tres te desplazan, pero si eliges el equivocado, o bien no llegarás o te costará demasiado esfuerzo.

Detallemos el escenario ideal para cada uno:

Navegador interno (in-app browser): un navegador integrado en la propia ventana de Codex donde compartes la vista de la página web con el modelo. Está diseñado específicamente para: servidores de desarrollo local (localhost), vista previa de archivos o páginas públicas que no requieran inicio de sesión. No accede a tus credenciales de sesión en Chrome, cookies, extensiones o pestañas abiertas; es un entorno aislado y limpio que permite verificar cambios sin alterar tu navegador de uso diario. Úsalo para comprobar el diseño del frontend tras guardar cambios.

Extensión de Chrome (Codex Chrome extension): se utiliza cuando la tarea requiere el inicio de sesión de tu propio navegador. Los casos típicos señalados oficialmente: permitir que Codex lea o interactúe con LinkedIn, Salesforce, Gmail o herramientas corporativas internas que requieran credenciales. Aprovecha las sesiones activas de tu Chrome real para interactuar.

Control del ordenador (Computer Use): lo descrito en la sección anterior, accede a todo el escritorio: apps nativas, simuladores y flujos inter-aplicaciones. Abarca el mayor rango de acción y es la opción más lenta.

Compara las tres opciones en esta tabla para elegir la adecuada:

DimensiónNavegador internoExtensión de ChromeControl del ordenador
AlcancePáginas en el navegador de CodexTu Chrome real (con sesiones activas)Todo el escritorio de macOS / Windows
Tareas típicaslocalhost, vista previa de archivos, páginas públicasLinkedIn / Salesforce / Gmail / Sistemas internosApps nativas, simuladores, flujos inter-aplicaciones
Uso de credenciales❌ No, entorno limpio y aislado✅ Usa las sesiones activas en ChromeDepende de la aplicación en uso
Cómo invocarlo@Browser o pedirle "usar el navegador"@Chrome@Computer o @nombre_de_app
Qué instalarPlugin BrowserPlugin Chrome + Extensión de ChromePlugin Computer Use
Complejidad / VelocidadLa más ligera y rápidaIntermediaLa más pesada y lenta

Distribución sencilla de tareas: navegador interno para páginas locales, extensión de Chrome para sitios con sesiones activas y control del ordenador solo si requieres acceder al escritorio. Detallamos la configuración de cada una a continuación.

💡 Resumen en una frase: Hay tres vías para interactuar con la interfaz: navegador interno (localhost o páginas públicas, sin credenciales), extensión de Chrome (sitios con sesiones abiertas) y control del ordenador (todo el escritorio); de la más ligera a la más pesada, selecciona la adecuada usando la tabla antes de comenzar.


03 Habilitación 1: Navegador interno (la primera opción recomendada)

Comenzamos en orden de complejidad con el navegador interno, que es la primera opción a utilizar. Su propósito es directo: compartir con Codex una vista de renderizado de páginas, diseñada específicamente para visualizar y comprobar desarrollos web locales.

Instalar el plugin e iniciar

Paso 1: instalar el plugin Browser: ve a Plugins en Codex, añade el plugin de Browser y actívalo (la ubicación del menú depende de la versión).

Paso 2: abrir el navegador interno. Se puede hacer de las siguientes formas:

  • Hacer clic en el icono de la barra de herramientas;
  • Abrir automáticamente al pulsar sobre un enlace URL;
  • Introducir manualmente una ruta de navegación;
  • Usar el atajo de teclado: Cmd+Shift+B en macOS y Ctrl+Shift+B en Windows.

Dejar que Codex controle el navegador interno

Además de visualizar, puedes pedir a Codex que interactúe directamente con el navegador interno: hacer clics, escribir texto, evaluar el estado visual, tomar capturas, descargar recursos, ejecutar JavaScript de lectura para auditoría o comprobar si un cambio solucionó un problema.

Para invocarlo: indícale en la petición "usa el navegador" o señálalo con @Browser. Un ejemplo oficial se estructura así:

text
用浏览器打开 http://localhost:3000/settings,复现那个布局 bug,
只修溢出的那几个控件,别动其它。

Su característica estrella: las anotaciones

El beneficio más destacado del navegador interno son las anotaciones (comment / annotation): cuando un fallo solo se detecta visualmente en la página renderizada, puedes marcar el elemento web directamente y añadir una nota; esto le adosará a Codex una referencia precisa a nivel de elemento HTML, siendo mucho más efectivo que describirlo con palabras.

Directrices oficiales de uso (según la interfaz del programa):

  • Activa el modo de anotaciones (Annotation mode), selecciona un elemento o área y añade un comentario;
  • Mantén pulsado Shift al hacer clic para marcar un área en el modo de anotaciones;
  • Mantén pulsado Cmd al hacer clic para enviar el comentario de inmediato.

Tras añadir la anotación, indícale al modelo en el chat que la procese. Las buenas anotaciones son específicas, como:

text
这个按钮在手机上会溢出。能放一行就保持一行,
放不下就换行,但别改卡片的高度。

Hay además un acceso más detallado: la anotación incluye un icono de configuración (config); al pulsarlo, puedes ajustar directamente la tipografía, tamaño de letra, márgenes y color en la interfaz para ver el resultado en tiempo real, confirmándolo una vez estés conforme. Es mucho más exacto que describir por chat "haz la letra más grande y el color un poco más cálido".

En mi experiencia, la anotación es sumamente útil para ajustes visuales detallados: el mes pasado depuraba una página de tarifas donde un tooltip tapaba los datos bajo el cursor; en lugar de describir coordenadas, marqué el tooltip y añadí "muévelo dentro del área del gráfico sin tapar los datos", y Codex lo solucionó al primer intento. La clave es detallar el "estado visual de interés": en carga, vacío, error o completado.

Debes tener en cuenta un límite de aislamiento aclarado en la documentación oficial:

内置浏览器不支持认证流程、登录后的页面、你日常浏览器的配置、cookie、扩展、或已经打开的标签页。它只用来打开不用登录就能访问的页面。 El navegador interno no es compatible con flujos de autenticación, páginas con inicio de sesión, configuraciones de tu navegador de uso diario, cookies, extensiones o pestañas previamente abiertas. Solo se utiliza para acceder a páginas accesibles sin credenciales.

En resumen: no puede acceder a sitios que requieran inicio de sesión; esa es la tarea de la extensión de Chrome de la siguiente sección.

💡 Resumen en una frase: El navegador interno es un entorno de navegación limpio e integrado en Codex, habilitado con el plugin Browser y usado con @Browser para localhost o páginas públicas; la anotación (marcar elementos y añadir notas) es su característica clave; ten en cuenta que no gestiona sesiones iniciadas, delegando esos sitios a la extensión de Chrome.


04 Habilitación 2: Extensión de Chrome (para sitios con inicio de sesión)

Cuando la tarea requiera las sesiones abiertas en tu navegador (como leer tu LinkedIn, modificar clientes en Salesforce, trabajar en Gmail o interactuar con herramientas corporativas internas), es momento de usar la extensión de Chrome.

Instalar desde Plugins

La documentación oficial detalla los pasos de instalación desde los plugins:

  1. Abre Codex y ve a Plugins.
  2. Añade el plugin Chrome.
  3. Sigue las indicaciones del asistente: te guiará para instalar la extensión de Chrome de Codex (desde la Chrome Web Store) y aceptar los permisos solicitados por Chrome.
  4. Abre Chrome y comprueba que la extensión de Codex muestre Connected (Conectado).

Una vez instalada, inicia un nuevo hilo de conversación en Codex; el modelo sugerirá usar Chrome de forma automática si detecta que la tarea requiere iniciar sesión; también puedes invocarlo directamente en el chat:

text
@Chrome 打开 Salesforce,根据这些通话记录更新对应的客户。

Si Chrome no está abierto, Codex puede iniciarlo. Un detalle útil: las tareas de Chrome se agrupan en pestañas (tab group) correspondientes al hilo de conversación activo, evitando desordenar tus pestañas personales.

Este es el comportamiento predeterminado que debes comprender sobre la extensión de Chrome (y el navegador interno); no asumas que podrá navegar libremente tras instalarla:

默认情况下,Codex 在操作每一个新网站之前都会先问你。它按网站的 host(比如 example.com )来弹这个确认。 Por defecto, Codex te solicitará confirmación antes de interactuar con cada sitio web nuevo. Despliega una alerta según el host del sitio (como example.com).

Al mostrarse la alerta, dispones de tres opciones según tu criterio de riesgo:

  • Permitir solo en la conversación actual para este sitio;
  • Permitir siempre este host para no volver a preguntar en el futuro;
  • Denegar el acceso.

Un control más granular está en la configuración de Computer Use: puedes gestionar una allowlist (lista blanca) y blocklist (lista negra):

  • Dominios en la lista blanca: Codex los utiliza sin volver a preguntar;
  • Dominios en la lista negra: Codex tiene prohibido acceder;
  • Eliminar de la lista blanca: volverá a solicitar confirmación en la próxima visita; eliminar de la lista negra: cambia el estado de "bloqueo directo" a "volver a consultar".

Detallamos dos interruptores y opciones clave donde es fácil cometer errores de suposición:

OpciónComportamiento por defectoConsejo clave
Preguntar por cada sitio nuevoActivado por defecto (preguntará)Es tu primera barrera de seguridad, no la desactives a la ligera
Permitir siempre contenido de navegador (always allow browser content)Requiere habilitación manual; Codex no volverá a solicitar confirmación para interactuar con sitios webAl activarlo desactivas de raíz esta barrera, piénsalo bien antes de proceder
Historial del navegador (browser history)Codex preguntará si requiere acceder, sin opción de "permitir siempre"El historial puede contener rutas internas o búsquedas sensibles; autoriza solo por necesidad y limpia después

El historial del navegador merece mención especial: la documentación oficial aclara que el acceso al historial requiere confirmación expresa para cada petición sin dar la opción de aprobación permanente, ya que contiene rutas internas sensibles, términos de búsqueda o rastros de actividad; si el modelo es inducido por código malicioso en una página, estos datos podrían extraerse. Por tanto, se restringe la aprobación permanente de forma deliberada.

Qué hacer si no se conecta

El fallo más habitual al usar la extensión de Chrome es que "no logre conectarse". Sigue el orden de resolución oficial (comprueba primero que el sitio de interés no esté bloqueado en la lista negra antes de continuar):

  1. Abre la extensión de Codex desde la barra de herramientas o el menú de extensiones de Chrome y comprueba si muestra Connected. Si figura desconectada o alerta sobre falta de native host, ve a Plugins en Codex, elimina y vuelve a añadir el plugin de Chrome para repetir el asistente.
  2. Ve a Plugins en Codex y confirma que el plugin de Chrome esté activado.
  3. Asegúrese de estar usando el perfil de Chrome (profile) donde instaló la extensión; quienes usan múltiples perfiles suelen cometer este error de trabajar en el perfil B mientras la extensión está en el perfil A.
  4. Inicia una nueva conversación (hilo) e inténtalo de nuevo para limpiar el estado de conexión a nivel de conversación.
  5. Reinicia Chrome y Codex; si el fallo persiste, desinstala la extensión, elimina y vuelve a añadir el plugin de Chrome en Codex, y repite el proceso.
  6. Si muestra Connected pero sigue sin funcionar, ejecuta /feedback para contactar con soporte, indicando el ID de la conversación.

Un detalle menor: si la tarea en Chrome requiere cargar archivos desde tu máquina, debes activar la opción "Allow access to file URLs (Permitir acceso a URL de archivo)" en la página de detalles de la extensión, de lo contrario no tendrá acceso a archivos locales. Reinicia la tarea tras aplicar el cambio.

💡 Resumen en una frase: La extensión de Chrome se usa para sitios que requieren sesiones abiertas, habilitándose desde Plugins, instalando la extensión según el asistente y confirmando que figure Connected para invocarla con @Chrome; pregunta por cada sitio nuevo por defecto, gestionando las listas en la configuración de Computer Use; habilitar "permitir siempre contenido" desactiva esta protección.


05 Habilitación 3: Control del ordenador (todo el escritorio)

Dejamos la opción más pesada para el final. El control del ordenador permite a Codex examinar la pantalla, mover el cursor e introducir texto en todo el escritorio de macOS o Windows; habilitarla requiere cumplir dos condiciones de región y permisos del sistema, más restrictivos que las opciones anteriores.

Verificar primero la región y la plataforma

Detallemos primero las limitaciones de acceso:

  • Plataformas: disponible en macOS y Windows; Linux queda excluido (la aplicación de escritorio de Codex no cuenta con versión para Linux, como detallamos en el artículo 07).
  • Regiones: no compatible en su lanzamiento en el Espacio Económico Europeo (EEE), el Reino Unido y Suiza. Si te encuentras en estas ubicaciones, la opción no estará disponible por defecto.

Instalar el plugin y otorgar permisos del sistema

Paso 1: instalar el plugin Computer Use: ve a la configuración de Codex, abre Computer Use y pulsa Install para agregarlo; hazlo antes de pedirle interactuar con el escritorio.

Paso 2: otorgar permisos del sistema (el proceso difiere según el sistema operativo):

En macOS requieres conceder dos tipos de permisos (se solicitarán en el primer uso, síguelos para autorizar):

PermisoPropósito
Grabación de pantalla (Screen Recording)Permite que Codex vea la interfaz de las aplicaciones objetivo
Accesibilidad (Accessibility)Permite que Codex haga clics, escriba y navegue

Si Codex no logra examinar o controlar alguna aplicación, ve a Ajustes del Sistema > Privacidad y seguridad y activa las opciones de "Grabación de pantalla" y "Accesibilidad" para la aplicación de Codex.

En Windows no existe el sistema de permisos de accesibilidad, pero se rige por la regla del primer plano: el control del ordenador se ejecuta en el escritorio activo actual, requiriendo que la aplicación objetivo sea visible durante la tarea y además:

在 Windows 上,电脑操控无法在后台运行。任务跑着的时候,Codex 会移动你的鼠标指针、打字、接管前台。 En Windows, el control del ordenador no se puede ejecutar en segundo plano. Mientras la tarea esté activa, Codex moverá el cursor del ratón, escribirá en el teclado y tomará el control del primer plano.

En pocas palabras: en Windows, el modelo tomará el control de tu ratón y teclado al trabajar, impidiéndote usar el ordenador al mismo tiempo. Si deseas que la tarea se ejecute en tu ausencia, se sugieren dos opciones: mantener el ordenador desbloqueado y con red observando el progreso desde el móvil, o bien ejecutar Codex en una máquina virtual de Windows para que controle la interfaz virtual en lugar de tu escritorio físico.

Cómo invocarlo

Señala @Computer en la petición, o invoca la aplicación directamente con @nombre_de_app, especificando qué aplicación, ventana y flujo realizar. Dos ejemplos oficiales:

text
用电脑操控打开这个 App,复现新手引导里的那个 bug,
修掉导致它的最小代码路径。每改一次,就把同一条 UI 流程重跑一遍。
text
打开 @Chrome,验证最新改动之后结账页面是否还正常。

Presta atención al segundo ejemplo: @Chrome puede invocar tanto la extensión de Chrome de la sección anterior (estructurada y con sesión activa) como el control visual del navegador. La recomendación oficial: prefiere las integraciones de plugins o servidores MCP específicos si están disponibles, recurriendo a Computer Use solo si requieres una "revisión visual directa".

Permisos y aprobaciones: independientes de los permisos del sistema

Hay una distinción que la documentación oficial detalla de forma separada: los "permisos del sistema" y las "aprobaciones de la app" en Codex son cosas distintas.

  • Permisos del sistema (grabación de pantalla y accesibilidad en macOS): otorgan a Codex la capacidad de examinar e interactuar con la interfaz.
  • Aprobación de la app: define qué herramientas permites usar a Codex. El programa solicitará confirmación antes de abrir una aplicación en la tarea; puedes seleccionar Permitir siempre (Always allow) para no volver a preguntar en el futuro; puedes editar esta lista de exclusión en el bloque Computer Use dentro de la configuración de Codex.
  • Las lecturas y escrituras de archivos o comandos de consola siguen rigiéndose por las reglas del sandbox y aprobaciones de la conversación (artículos 15 y 16), sin relajarse por el uso de Computer Use.

Ante operaciones sensibles o destructivas, Codex podría solicitar confirmación adicional.

Desbloqueo automático (exclusivo de macOS, usar con precaución)

Existe una capacidad avanzada llamada uso bloqueado (Locked use), disponible únicamente en macOS y desactivada por defecto (requiere habilitación manual). Resuelve el caso de enviar una petición a Codex desde otro dispositivo que requiera interactuar con el escritorio mientras tu Mac está con la pantalla bloqueada.

Al habilitarlo, Codex instala un plugin de autorización de Apple (authorization plug-in) para integrarse en el flujo de credenciales de macOS, lo que permite desbloquear temporalmente la máquina para tareas de Computer Use de confianza conservando la seguridad general. Se definen 4 barreras de seguridad:

  • La ventana de autorización tiene una duración breve y aplica solo al intento de desbloqueo activo.
  • El desbloqueo automático aplica únicamente a sesiones activas de Codex.
  • Codex ocultará la pantalla en todos los monitores durante el desbloqueo.
  • Si se detecta actividad local en el ratón o teclado, la pantalla se bloqueará de inmediato cancelando el desbloqueo.

La documentación oficial lo define de forma estricta: es una funcionalidad diseñada con un alcance muy limitado y no una puerta trasera de desbloqueo remoto para tu Mac; ninguna otra aplicación o proceso local puede aprovecharla. No la actives de inmediato si eres principiante; recurre a ella solo ante la necesidad real de ejecutar tareas con la pantalla bloqueada.

💡 Resumen en una frase: El control del ordenador accede a todo el escritorio y tiene los mayores requisitos: no compatible en el EEE, el Reino Unido y Suiza, y sin soporte para Linux; requiere permisos de grabación y accesibilidad en macOS y toma el control del primer plano en Windows; las aprobaciones de apps son independientes de los permisos del sistema, y el sistema de archivos sigue regulado por el sandbox; el desbloqueo automático es exclusivo de macOS, viene desactivado por defecto y su alcance es limitado.


06 Seguridad: interactúa con tu "escritorio y navegador reales", no con un sandbox

Esta sección es indispensable: el control del ordenador y la extensión de Chrome interactúan con tu escritorio y navegador físicos donde tienes tus cuentas activas, no con un entorno de sandbox desechable. Esto plantea fronteras de confianza completamente distintas a ejecutar comandos en un sandbox (artículo 15), y confirma la premisa del artículo 16 de que "la comodidad y el riesgo crecen de la mano".

¿Dónde radican los riesgos?

La documentación oficial lo describe directamente: con Computer Use, Codex puede ver la pantalla, tomar capturas, realizar clics, escribir texto y acceder al portapapeles en las aplicaciones objetivo. Considera toda esta información visible como contexto que el modelo procesará. Hay dos riesgos a tener en cuenta:

  • Las sesiones abiertas actúan como credenciales de acceso: accede a los sitios sin requerir autenticación adicional; tendrá acceso a todo lo que tengas abierto. La advertencia oficial da en el clavo:

网页可能包含恶意或误导性内容,而网站会把已批准的点击、表单提交、登录态下的操作,当成是你本人发起的。 Las páginas web pueden contener contenido malicioso o engañoso, y los servidores interpretarán los clics autorizados, envíos de formularios y acciones bajo tus sesiones activas como si los hubieras realizado tú en persona.

  • Inyección de prompts (prompt injection): explicado en el artículo 16; los contenidos de páginas web pueden contener instrucciones maliciosas dirigidas a la AI. Este riesgo es sumamente real al controlar el navegador o el escritorio, ya que procesa interfaces y páginas externas que escapan a tu control.

Medidas de seguridad oficiales

Por fortuna, existen controles integrados para mitigar riesgos:

  • Confirmación para sitios nuevos (sección 04), la primera barrera del navegador.
  • Confirmación para aplicaciones nuevas (sección 05), la primera barrera del escritorio; con alertas adicionales ante acciones sensibles.
  • Interrupción en cualquier momento: puedes detener la tarea o tomar el control físico del ratón y teclado de inmediato.
  • Acciones estrictamente bloqueadas, barreras insalvables:

电脑操控无法自动化终端应用、也无法自动化 Codex 自己(那会绕过 Codex 的安全策略);它也无法以管理员身份认证、无法替你批准电脑上的安全和隐私权限提示。 El control del ordenador no puede automatizar consolas ni al propio Codex (ya que evadiría las reglas de seguridad); tampoco puede autenticarse como administrador ni otorgar permisos del sistema en las ventanas de confirmación de seguridad o privacidad de la máquina.

Este último límite ofrece tranquilidad: el modelo no puede interactuar con las ventanas del sistema del tipo "¿dar permisos de seguridad?", manteniendo el control de autorización en tus manos.

Reglas que debes respetar por tu cuenta

Más allá de los controles del programa, para interactuar con la interfaz real conviene seguir estas buenas prácticas organizadas en la siguiente tabla:

Escenario❌ Evita hacer esto✅ Práctica recomendada
Cantidad de tareas simultáneasSolicitar flujos en múltiples aplicaciones a la vezAsignar un solo objetivo o flujo definido a la vez
Aplicaciones sensiblesDejar aplicaciones bancarias o gestores de contraseñas abiertos en segundo planoCierra toda herramienta sensible que no requiera la tarea
Trabajo en WindowsIntentar usar el ordenador mientras toma el primer planoUtilizar un segundo dispositivo, una máquina virtual o detener la tarea antes de usarlo
Tareas con credencialesDejar la tarea en segundo plano sin supervisiónRealizar la tarea bajo tu supervisión para aprobar paso a paso
Opción "Permitir siempre"Habilitarla de forma general para ahorrar clicsHabilitarla únicamente en aplicaciones o dominios de total confianza
Cuentas, pagos, privacidad o redDejar que el modelo complete los clicsSupervisar en todo momento durante estas operaciones
Clics erróneos del modeloEsperar a que se corrija por sí mismoCancelar la tarea de inmediato

Un recordatorio sobre los datos: las modificaciones en herramientas de escritorio podrían no figurar en el panel de revisión (review pane) antes de guardarse en el disco o ser registradas por el control de versiones; no asumas que la ausencia de registros equivale a que no hubo cambios. Además, tus preferencias de control de datos de ChatGPT aplican a todo el contenido procesado por Codex, incluyendo las capturas de pantalla tomadas durante el control del ordenador.

Simula una opción limpia: indicar a Codex que use un navegador alternativo para aislar sus operaciones de tu navegador personal.

La regla de oro es una: cualquier clic en tu navegador o escritorio físico es real; a diferencia de cometer un error en el sandbox que se soluciona destruyendo el entorno, pulsar "Confirmar pago" en el navegador transferirá dinero real. Asume el control directo ante tareas financieras o irreversibles.

💡 Resumen en una frase: El control del ordenador y la extensión de Chrome interactúan con tu escritorio y navegador físicos (fuera del sandbox), con riesgos en el uso de sesiones activas y la inyección de prompts en páginas web; las barreras oficiales detienen por cada app o sitio nuevo, no permiten automatizar consolas ni ventanas de privilegios y admiten interrupciones; te corresponde asignar tareas individuales, cerrar herramientas sensibles y vigilar operaciones irreversibles o bancarias.


07 Manos a la obra: leer una página local mediante el navegador interno

La teoría sin práctica no sirve. Realizaremos un ejercicio básico: usar el navegador interno (la vía más ligera y segura de las tres) para abrir un sitio local y pedir a Codex extraer información. No interactúa con tus credenciales ni interrumpe el uso del primer plano, diseñado para comprobar la conexión.

¿Por qué usar el navegador interno para la práctica? Porque no requiere permisos del sistema, no accede a tu Chrome personal y carece de limitaciones de región, ofreciendo el menor riesgo de fallos. La extensión de Chrome y el control del ordenador se habilitan con pasos similares, pero incorporan más capas de autorización.

Primer paso: Iniciar una página local

Inicia un servidor estático básico para ofrecer una ruta local al navegador interno. Por ejemplo:

bash
python3 -m http.server 3000

Resultado esperado: la terminal muestra Serving HTTP on :: port 3000 (http://[::]:3000/) ..., indicando que el servidor estático está activo. Compruébalo abriendo http://localhost:3000 en tu navegador de uso diario (debería listar los archivos del directorio).

Segundo paso: Instalar y abrir el navegador interno

Ve a Plugins en Codex y confirma que el plugin de Browser esté instalado y activo. Abre el navegador interno con el atajo de teclado:

  • macOS: Cmd+Shift+B
  • Windows: Ctrl+Shift+B

✅ Comprobación: se abre la vista del navegador interno en la ventana de Codex.

Tercer paso: Pedir a Codex leer la página en el navegador interno

Indícale una instrucción de solo lectura sin acceso a credenciales:

text
用浏览器打开 http://localhost:3000,
把页面上列出的文件名读给我,并截一张图。

Resultado esperado: verás al navegador interno abrir http://localhost:3000; Codex leerá la lista de archivos del directorio en el chat y adjuntará una captura de pantalla. Comprobar la navegación y lectura del contenido = conexión exitosa. En la primera visita, podría solicitar confirmación de acceso al host como se explicó en la sección 04; simplemente autorízalo.

Cuarto paso (Opcional): Probar las anotaciones

Para evaluar la anotación descrita en la sección 03, abre el modo de anotaciones, marca un elemento en la página y escribe una nota (como "haz este texto más grande"), pidiendo luego al modelo procesarlo. Resultado esperado: Codex identificará con precisión el elemento marcado para modificarlo sin requerir descripciones complejas de ubicación.

Al completar los tres pasos iniciales habrás recorrido la vía más ligera: "instalar plugin Browser → abrir navegador interno → leer página local". Cualquier flujo avanzado con el navegador interno, la extensión de Chrome o el control del ordenador sigue esta misma lógica ("instalar plugin → otorgar permisos/confirmación → invocar con @ → supervisar la ejecución"), simplemente incorporando más capas de autorización.

💡 Resumen en una frase: Tres pasos de práctica: iniciar servidor local, abrir el navegador interno (Cmd/Ctrl+Shift+B) y pedir leer la ruta local; es el acceso más simple y seguro, y las otras dos vías se configuran con pasos similares incorporando más autorizaciones.


08 Resumen

En este artículo hemos integrado la interfaz gráfica en Codex: desde leer archivos o ejecutar comandos locales, hasta controlar navegadores, interactuar con el escritorio y reproducir fallos específicos de la visualización. Lo más relevante es conocer las tres vías y cuándo usar cada una.

Repasemos las pautas consolidadas:

ObjetivoPuntos clave
Comprender Computer UsePermite a Codex examinar la pantalla, mover el cursor y usar el teclado; es la opción más pesada y localmente se prefiere el navegador interno
Distinguir las tres víasNavegador interno (localhost) → Extensión de Chrome (sesiones activas) → Control del ordenador (todo el escritorio)
Navegador internoInstalar plugin Browser, invocar con @Browser, atajo Cmd/Ctrl+Shift+B; su característica clave son las anotaciones
Extensión de ChromeAñadir plugin Chrome + instalar extensión, invocar con @Chrome; pregunta por cada sitio nuevo por defecto
Control del ordenadorInstalar plugin Computer Use, conceder permisos en macOS y toma el primer plano en Windows; sin soporte en el EEE/Reino Unido/Suiza ni en Linux
Priorizar seguridadInteractúa con el escritorio y navegador físicos: asigna tareas individuales, limita el acceso y supervisa pagos u operaciones irreversibles

Ahora deberías ser capaz de: comprender el propósito de las tres vías; abrir el navegador interno para examinar una página local; instalar la extensión de Chrome y habilitar Computer Use reconociendo sus límites geográficos y de sistema; y evaluar los riesgos sobre el escritorio físico manteniendo controles de seguridad. Esta capacidad representa un gran paso para Codex: de asistente de código local a interactuar directamente con tu pantalla.

Concluimos detallando las relaciones de las tres vías en esta imagen:

Las tres vías de control de interfaz de Codex: navegador para páginas públicas / extensión de Chrome para sesiones iniciadas / control del ordenador para aplicaciones de escritorio

Este diagrama resume el flujo "requiere interfaz → tipo de página → vía de acceso → comportamiento por defecto"; consúltalo ante cualquier duda sobre qué opción elegir.

💡 Resumen en una frase: Tres vías de menor a mayor complejidad: navegador interno para local y páginas públicas, extensión de Chrome para sitios con sesiones abiertas y control del ordenador para todo el escritorio; a mayor alcance mayor riesgo, con una regla de oro: cualquier interacción con el entorno físico es real, debiendo supervisar tareas financieras o irreversibles tú mismo.


El próximo artículo 18 · Configuración detallada en config.toml: tras instalar tres plugins y ajustar diversos permisos y listas de autorización, ¿sientes que los parámetros están dispersos y son difíciles de recordar? En realidad, Codex agrupa la mayoría de sus interruptores de comportamiento en un solo archivo: config.toml. En el siguiente artículo explicaremos estos interruptores paso a paso: modelos, sandbox, aprobaciones, servidores MCP... qué controla cada clave, sus valores por defecto y si requieren reiniciar. Un pequeño pensamiento: en este artículo, habilitar la interacción requirió instalar plugins y dar permisos; si quisieras definir preferencias de inicio como "qué modelo usar por defecto o qué nivel de sandbox activar", ¿dónde crees que deberías indicarlo?


Lecturas recomendadas