Controle de Computador e Navegador (Computer Use): Dando mãos ao Codex

📚 Navegação da Série: Anterior 16 · Segurança e limites de risco delimitou 'o quão perigoso o Codex pode ser e onde estão as barreiras'. Esta parte abre uma nova porta — permitir que o Codex veja sua tela, clique em seus aplicativos desktop e abra seu navegador: seja para testar um aplicativo nativo, reproduzir um bug visível apenas na tela ou clicar em ações em um site autenticado. Até aqui, as ações do Codex limitaram-se a arquivos e terminais; esta parte marca o uso de interfaces visuais. Próxima parte 18 · Guia de configurações config.toml detalhará as configurações do arquivo central.

⚠️ Recurso experimental sob mudanças. O uso de Computer Use (Controle de computador), extensões do Chrome e navegadores integrados estão sob constante evolução. Nomes de menus, atalhos de teclado e caminhos descritos aqui devem ser validados com as opções reais em sua tela e a documentação oficial do Codex.

A OpenAI delimita o uso do Computer Use em nível regional: o recurso está disponível no macOS e Windows, mas bloqueado em regiões como o Espaço Econômico Europeu (EEA), Reino Unido e Suíça. O bloqueio ocorre em nível geográfico por regras da empresa — conexões por VPN não garantem o funcionamento se a conta estiver sob essas jurisdições.

A primeira vez que avaliei essa capacidade foi ao ler a estrutura do diretório app da documentação: os caminhos computer-use, browser e chrome-extension detalham a integração com elementos gráficos, ocupando mais páginas do que as seções de sandboxes. O foco dedicado a este tema sinaliza uma diretriz clara: agentes limitados a terminais e arquivos de texto acabam esbarrando em limitações do mundo real, onde ações dependem da interface do usuário.

Um exemplo real: ao ajustar uma aplicação Electron, um bug quebrava a tela apenas quando a janela do app era reduzida a uma largura específica. Nos testes de terminal a rotina passava normalmente, e logs não acusavam erros. Para reproduzir esse erro visual, eu precisava redimensionar a janela manualmente, tirar capturas de tela e descrever para a IA. O Computer Use remove essa limitação — permitindo ao próprio Codex capturar e interagir com a tela.

Esta seção aborda três pontos: os três caminhos para interagir com a interface gráfica (navegador interno, extensão do Chrome e controle do computador), como habilitá-los e os limites de segurança ao interagir com seu desktop e navegador pessoal.

Ao ler esta parte, você obterá:

• O que define o Computer Use, quando utilizá-lo e quando evitá-lo
• A diferença entre as três formas de acesso visual: navegador integrado (localhost) → extensão do Chrome (sites autenticados) → controle do computador (desktop total), com tabela comparativa
• Como ativar cada fluxo (instalação de plugins, concessão de permissões no sistema e comandos de chamada @), além de regras regionais e de sistema
• Regras de acesso a sites (sites novos exigem aprovação por padrão), gerenciamento de listas allowlist / blocklist e como habilitar conexões diretas
• Riscos de segurança ao interagir com seu navegador e ambiente pessoal, defesas nativas e boas práticas
• Um guia prático inicial: acessando uma página local com o navegador integrado

---

01 O que é o Computer Use e quando adotá-lo

O Computer Use consiste em permitir ao Codex interagir com a interface gráfica simulando um usuário — capturando a tela do macOS ou Windows e interagindo com cliques, rolagem e digitação em janelas e menus. Ele é indicado para tarefas que não possuem APIs de integração ou suporte por plugins e MCPs.

A indicação oficial de uso é direta:

Use o controle visual quando a tarefa não puder ser validada por leitura de arquivos ou respostas de linha de comando.

Exemplos de uso:

• Validar fluxos de execução em aplicativos desktop (macOS / Windows) ou simuladores móveis criados pelo Codex.
• Reproduzir bugs de comportamento visual (como o redimensionamento de tela citado anteriormente).
• Alterar configurações de aplicativos que dependem de navegação por interface gráfica.
• Buscar informações em aplicativos sem suporte para conexões de dados ou arquivos de texto.
• Executar tarefas integradas entre diferentes aplicativos desktop.

Analogia: Um auxiliar na sua mesa interagindo com a tela, diferente de um suporte remoto por e-mail. Comandos de terminal e plugins funcionam como o suporte remoto, onde você envia arquivos e comandos para serem respondidos. O Computer Use é o auxiliar sentado à mesa, que visualiza a tela e interage com o mouse e teclado. Contudo, ele atua no seu desktop de trabalho real, não em um ambiente virtual de testes — ponto crítico que exige atenção nas regras de segurança.

A documentação traz um alerta importante sobre o uso de páginas web locais:

Para testes e validações de aplicações Web em desenvolvimento local, prefira o uso do navegador integrado (in-app browser) em vez do Computer Use.

O motivo: o Computer Use demanda maior processamento por envolver capturas de tela contínuas, cálculo de coordenadas e movimentação de ponteiros. Priorize sempre recursos estruturados: use plugins e MCPs se disponíveis, use o navegador integrado para páginas web e adote o Computer Use apenas para interações no desktop ou com apps nativos.

💡 Resumo em uma frase: O Computer Use permite ao Codex ver a tela e interagir com teclado e mouse em todo o desktop, sendo voltado a apps nativos e bugs visuais; dê preferência ao navegador integrado para testes Web locais.

---

02 Três caminhos de acesso visual: Navegador Integrado, Extensão do Chrome e Controle do Computador

Existem três formas de interagir com elementos gráficos no Codex. Entender suas diferenças é crucial para usar o recurso correto.

Analogia: Três formas de deslocamento urbano. Para trajetos curtos na mesma quadra (páginas locais), caminhar resolve com agilidade e sem custos — este é o navegador integrado; para ir a escritórios conhecidos com controle de acesso (sites autenticados), você usa seu próprio veículo com a credencial de entrada — esta é a extensão do Chrome; para terrenos de difícil acesso e sem demarcações claras (aplicativos nativos, desktop total), você precisa de um veículo tracionado para fora de estrada — este é o controle do computador.

Vejamos o foco de cada um:

Navegador integrado (in-app browser): janela de navegação embutida no próprio Codex, compartilhando a visualização da página renderizada. Voltado para: servidores de desenvolvimento local (localhost), arquivos estáticos locais e páginas públicas da internet. Ele not acessa cookies, extensões, abas abertas ou logins do seu navegador pessoal — funcionando como um sandbox de navegação isolado. Útil para verificar alterações de CSS ou JS locais.

Extensão do Chrome (Codex Chrome extension): indicado para sites que demandam sua conta pessoal conectada (ex: Salesforce, LinkedIn, Gmail ou ferramentas internas da empresa). Ele herda os cookies e sessão de login ativa do seu navegador Chrome.

Controle do computador (Computer Use): interage com todo o desktop de trabalho (aplicativos nativos, emuladores e integrações entre softwares). É o recurso mais robusto e que demanda maior processamento.

Tabela comparativa dos modos:

Característica	Navegador Integrado	Extensão do Chrome	Controle do Computador
Escopo de atuação	Navegador embutido no Codex	Navegador Chrome pessoal	Toda a tela do macOS / Windows
Cenário ideal	Páginas locais, localhost, páginas públicas	Salesforce, LinkedIn, e-mails, sistemas internos	Apps nativos, simuladores, fluxos multissistemas
Uso de logins pessoais	❌ Não utiliza (isolado e sem sessões salvas)	✅ Herda logins ativos do Chrome	Conforme os aplicativos abertos na tela
Comando de ativação	@Browser ou pedido em linguagem natural	@Chrome	@Computer ou @NomeDoApp
Componente necessário	Plugin Browser	Plugin Chrome no Codex + Extensão na loja do Chrome	Plugin Computer Use
Desempenho	Rápido e leve	Intermediário	Lento (capturas e coordenadas)

💡 Resumo em uma frase: O acesso visual divide-se em navegador integrado (localhost e páginas públicas), extensão do Chrome (sites autenticados) e controle de computador (desktop completo); escolha a rota conforme os dados de login e tipo de aplicativo.

---

03 Navegador integrado (in-app browser)

Focado no desenvolvimento local. Trata-se de uma janela de visualização limpa e isolada no Codex ideal para verificar modificações Web e páginas locais.

Instalação e acesso

1. No painel do Codex, acesse Plugins e instale o plugin Browser.
2. Para abrir a janela de visualização:
   • Clique no ícone de visualização na barra de ferramentas;
   • Clique em links no terminal para abrir automaticamente;
   • Digite um endereço na barra de navegação local;
   • Use o atalho Cmd+Shift+B no macOS ou Ctrl+Shift+B no Windows.

Automação de tarefas

O Codex pode controlar a navegação no navegador integrado: clicando em links, digitando textos, capturando imagens da tela, avaliando código JavaScript de apenas leitura e verificando modificações locais.

Para utilizá-lo, cite o termo @Browser ou peça a interação na conversa:

Use o navegador para abrir http://localhost:3000/settings, verifique se há problemas na visualização dos campos e ajuste o código se necessário.

O recurso de anotações (Annotations)

Para apontar falhas visuais, use o modo de anotações (Annotation mode). Ele permite clicar em um elemento ou área da tela e inserir uma nota de revisão direta, indicando o ponto de ajuste ao Codex.

Como usar:

• Ative o modo de anotações e clique no elemento alvo para digitar a nota;
• Use Shift + Clique para desenhar um retângulo de seleção de área;
• Use Cmd + Clique para enviar a anotação imediatamente.

Após criar a anotação, indique na conversa para o Codex aplicar as correções. Seja descritivo em suas notas:

O botão de envio está desalinhado neste tamanho de tela. Mantenha os elementos na mesma linha ou quebre se necessário, sem alterar o tamanho do card.

O ícone de configuração nas anotações permite ajustar propriedades de CSS como fontes, tamanho de texto, margens e cores direto na tela e ver os efeitos na hora, enviando a definição pronta para a IA. Isso garante precisão nos ajustes visuais.

Lembre-se dos limites de segurança descritos na documentação:

O navegador integrado não armazena cookies, credenciais, abas pessoais ou extensões. Ele destina-se apenas a páginas públicas ou servidores locais.

Para páginas autenticadas use a extensão do Chrome.

💡 Resumo em uma frase: O navegador integrado fornece uma visualização local isolada usando o plugin Browser, permitindo automações via @Browser e interações de estilo direto na tela com o modo de anotações.

---

04 Extensão do Chrome (acesso com credenciais de login)

Utilizado para interagir com sistemas onde você já efetuou login no Chrome (ex: Salesforce, Gmail ou painéis da empresa).

Instalação

1. No painel de Plugins do Codex, adicione o plugin Chrome.
2. Siga o assistente de instalação para adicionar a extensão do Codex na Chrome Web Store no seu navegador, autorizando as permissões exibidas.
3. Confirme que o ícone do Codex na barra do Chrome exibe Connected (Conectado).
4. Habilite a permissão 「Allow access to file URLs」 nas configurações da extensão se o Codex precisar enviar arquivos locais pelo navegador.

Para acionar o navegador pessoal, chame a instrução @Chrome:

@Chrome acesse meu painel do Salesforce e atualize os registros com os dados deste arquivo.

Por convenção, abas abertas pelo Codex são organizadas em grupos de abas (tab groups) para manter a organização de sua navegação.

Regras de acesso a sites: confirmações de segurança

Para proteger seus dados, o Codex restringe a navegação automática:

Por padrão, o Codex solicita permissão para cada novo site que tentar acessar. A checagem baseia-se no endereço principal (host, ex: example.com).

Ao receber o aviso, você define a política:

• Liberar o acesso apenas para a conversa atual;
• Liberar o acesso de forma permanente para este endereço;
• Bloquear o site.

Para gerenciar essas regras, acesse as configurações de Computer Use do Codex. Você pode customizar as listas de controle:

• allowlist (lista de permissões): domínios liberados sem solicitações;
• blocklist (lista de bloqueio): domínios proibidos;
• Alterações de domínios restabelecem a política padrão, solicitando confirmação no próximo acesso.

Parâmetros de controle de segurança importantes:

Opção	Configuração Padrão	Impacto de segurança
Confirmar novos sites	Ativo por padrão	Barreira básica contra acessos automáticos, evite desativar
Always allow browser content	Desativado por padrão	Se ativado, elimina as perguntas de sites, abrindo a navegação para qualquer endereço
Browser history (Histórico)	Exige confirmação sempre	O histórico não permite liberação definitiva para proteger credenciais em URLs antigas

A política de histórico de navegação protege o vazamento de links internos ou chaves contidas em URLs, exigindo aprovação manual a cada busca.

Resolução de problemas de conexão

Se a extensão apresentar falhas de conexão, siga as etapas:

1. Clique na extensão no Chrome e verifique se exibe Connected. Se estiver desconectado, remova e adicione o plugin Chrome novamente nas configurações do Codex.
2. Confirme que o plugin Chrome está ativo no painel de Plugins do Codex.
3. Confirme se a aba ativa pertence ao perfil do Chrome onde a extensão foi instalada (perfis diferentes não compartilham a conexão).
4. Inicie uma nova conversa (new thread) no Codex para limpar variáveis de conexão.
5. Reinicie o navegador e o app do Codex.

💡 Resumo em uma frase: O acesso a sites autenticados usa a extensão do Chrome via @Chrome, trazendo confirmação de acesso a cada novo site por padrão e gerenciamento de domínios nas regras de white/blacklists.

---

05 Controle de computador (Computer Use - desktop completo)

Permite ao Codex interagir com a tela e comandos de mouse e teclado em todo o desktop. Exige atenção às permissões regionais e de sistema.

Restrições regionais e de sistema

• Sistemas homologados: compatível com macOS e Windows. Não compatível com Linux.
• Regras regionais: bloqueado em contas sob a jurisdição do Reino Unido, Suíça e Espaço Econômico Europeu (EEA).

Instalação e permissões de sistema

1. Acesse as configurações de Computer Use no painel do Codex e clique em Install.
2. Habilite as permissões no sistema (solicitadas na primeira chamada):
   • Screen Recording (Gravação de tela): permite ao Codex capturar a visualização da tela;
   • Accessibility (Acessibilidade): permite interagir com teclado, cliques e navegação.

Caso o controle falhe, acesse Ajustes do Sistema > Privacidade e Segurança no macOS e ative manualmente as duas opções para o Codex.

Em sistemas Windows, o controle é executado na tela ativa:

O Computer Use no Windows não roda em segundo plano. Durante a execução, o Codex assumirá o controle do mouse e teclado.

Durante a execução de tarefas locais no Windows, evite interagir com a máquina. Caso precise usar o computador durante tarefas longas, use uma máquina virtual ou execute o Codex em um segundo computador.

Comandos de ativação

Chame a automação com o termo @Computer ou indicando o aplicativo a interagir:

Use o @Computer para abrir meu emulador, execute o aplicativo instalado e verifique se ocorrem falhas no login, registrando as telas.

A recomendação de uso prioritário é: use plugins dedicados ou conexões de dados se disponíveis, deixando o controle de computador apenas para interações que dependem de verificação visual na tela.

Diferença entre permissão de sistema e aprovações do Codex

• Permissões de sistema (gravação e acessibilidade no macOS): concedem a capacidade técnica de controle ao app do Codex.
• Aprovações do Codex: definem quais aplicativos você autoriza o Codex a controlar. O Codex solicitará permissão antes de interagir com novos apps, permitindo configurar opções como Always allow (Sempre permitir) para aplicativos conhecidos (gerenciado nas configurações de Computer Use).

Operações de escrita, leitura e comandos no terminal continuam restritas pelas regras do sandbox configuradas no projeto (seções 15 e 16).

Liberação com tela bloqueada (macOS - Locked Use)

Disponível apenas no macOS como opção desativada por padrão. Permite ao Codex desbloquear a máquina de forma temporária para executar tarefas de segundo plano quando o computador bloquear.

O recurso ativa um plug-in de autorização integrado ao fluxo de login do macOS. As regras de segurança aplicadas são:

• O token de autenticação possui validade curta, restrito à chamada ativa;
• O desbloqueio atua apenas durante tarefas ativas do Codex;
• Durante a execução com tela bloqueada, as telas físicas são obscurecidas para proteger a privacidade;
• Qualquer toque no teclado ou mouse físicos bloqueia a máquina novamente e suspende o acesso do Codex.

Esse recurso destina-se apenas a automações locais específicas; evite ativá-lo se não houver necessidade real de rodar tarefas com a máquina bloqueada.

💡 Resumo em uma frase: O controle de computador exige permissões de acessibilidade e gravação de tela, assume o mouse e teclado físicos no Windows e requer aprovação explícita para interagir com cada aplicativo.

---

06 Regras de Segurança no acesso à interface visual

Como o controle de computador e a extensão do Chrome interagem com sua máquina e contas ativas de navegador, suas ações ocorrem no ambiente real, fora de sandboxes isolados de arquivos.

Riscos de segurança

O Codex visualiza e altera dados ativos na tela, incluindo janelas abertas, áreas de transferência e dados de digitação. Considere os riscos:

• Uso de contas ativas: ações em sites herdam suas sessões salvas. Qualquer ação de clique ou envio de dados será tratada pelo site como realizada por você.
• Ataques de injeção de instruções: sites externos podem conter trechos de texto maliciosos formatados como comandos para a IA, induzindo o Codex a preencher formulários ou extrair dados visíveis.

Defesas nativas

• Solicitação de aprovação para acessar novos sites e novos aplicativos.
• Interrupção imediata: o usuário pode cancelar a tarefa ou assumir o controle do mouse/teclado a qualquer momento.
• Bloqueio de automação de ferramentas administrativas e do próprio aplicativo do Codex.
• Impedimento de cliques em botões de permissões de sistema e acessibilidade.

Boas práticas de segurança

Cenário de uso	Ação Recomendada
Execução de tarefas	Execute uma tarefa por vez com escopo claro e limitado
Aplicações críticas	Feche gerenciadores de senhas, abas bancárias ou dados confidenciais antes do uso
Uso do Windows	Adote uma máquina dedicada ou VM para evitar interrupções no uso pessoal
Operações críticas	Acompanhe visualmente a execução de logins ou cadastros
Autorização de domínios	Evite marcar "Always allow" para sites desconhecidos ou repositórios públicos
Ações financeiras	Realize pagamentos ou assinaturas manualmente, sem delegar ao agente

Se precisar navegar na internet com o Codex, utilize um navegador secundário dedicado para separar as tarefas da IA dos seus dados de uso pessoal.

💡 Resumo em uma frase: Interações de interface visual ocorrem em ambiente real; mantenha as confirmações de novos sites ativas, acompanhe execuções críticas e evite delegar operações financeiras ou administrativas ao agente.

---

07 Laboratório: Acessando uma página local com o navegador integrado

Vamos realizar um teste inicial com o navegador integrado para confirmar a configuração do plugin Browser e entender a visualização local.

Passo 1: Criar um servidor local temporário.

Inicie um servidor estático simples no terminal (no Windows, execute no PowerShell):

python3 -m http.server 3000

A saída confirmará que a porta 3000 está escutando conexões locais.

Passo 2: Habilitar o plugin Browser.

No painel do Codex, acesse Plugins e certifique-se de que o plugin Browser está instalado e ativado.

Passo 3: Abrir a janela de visualização.

Abra a janela com o atalho:

• macOS: Cmd+Shift+B
• Windows: Ctrl+Shift+B

Uma janela de navegador embutida será exibida na tela.

Passo 4: Solicitar a leitura da página.

Na conversa do Codex, envie a instrução:

Use o @Browser para abrir http://localhost:3000, liste os arquivos exibidos na página e capture uma imagem da tela.

Resultado esperado: a janela do navegador embutido navegará para a URL local, e o Codex apresentará a lista de arquivos encontrados na pasta na conversa, acompanhada da imagem capturada. Se for o primeiro acesso, o Codex solicitará autorização para acessar o domínio local.

Passo 5: Testar anotação.

Ative o modo de anotações na janela de visualização, marque uma área de texto e insira uma nota de alteração para validar o fluxo de pontuação.

Com isso, você confirmou o funcionamento do navegador embutido e seu fluxo de automação básica de forma segura.

💡 Resumo em uma frase: O laboratório de navegador integrado valida a conexão local e automação de leitura de forma isolada, servindo de base para tarefas Web mais complexas.

---

08 Resumo

Esta seção apresentou as ferramentas de controle visual e navegação no Codex.

Pontos chaves abordados:

Objetivo	Caminho	Regra de uso
Automação Web local	Navegador Integrado	Use o plugin Browser, atalhos de abertura e o recurso de anotações
Automação Web autenticada	Extensão do Chrome	Herda logins pessoais, exige confirmação por domínio e uso de white/blacklists
Controle de Desktop	Computer Use	Controla teclado e mouse, exige permissões no macOS e assume tela ativa no Windows
Limitações regionais	Geolocalização	Computer Use indisponível em contas sob jurisdição do Reino Unido, Suíça e EEA
Segurança no uso	Ambiente real	Evite delegar transações financeiras e acompanhe execuções críticas na tela

A partir de agora, você compreende: a divisão entre as três formas de acesso visual e quando adotar cada uma, como ativar as ferramentas e conceder as permissões necessárias, o papel das confirmações de novos domínios e a importância de monitorar interações visuais críticas. O uso desses recursos amplia as capacidades do Codex para além de arquivos de texto e linhas de comando.

Esta imagem resume as opções de interação visual: a partir de uma tarefa gráfica, escolhe-se o caminho conforme o tipo de destino (páginas públicas/localhost usam o navegador interno; sites com login usam a extensão do Chrome; aplicativos nativos usam o controle de computador desktop), definindo as permissões e o nível de processamento.

💡 Resumo em uma frase: Os três caminhos vão do mais simples ao mais robusto — o navegador integrado lida com páginas públicas e locais; a extensão do Chrome gerencia sites autenticados; e o controle de computador atua sobre todo o desktop. A responsabilidade por ações no sistema físico continua sendo humana.

---

A próxima seção 18 · Guia de configurações config.toml — detalhará a estrutura do arquivo de configuração do Codex: como centralizar as opções de modelos de linguagem, sandboxes, controle de acesso e domínios no config.toml? Qual a sintaxe correta e parâmetros aceitos? Mapeadas as ferramentas de execução, vejamos como parametrizar suas preferências.

---

Leituras Recomendadas

• Assinaturas e Recursos de Cobrança
• Guia de uso da CLI do Codex
• Resolução de problemas comuns no Codex