Skip to content

Управление компьютером и браузером (Computer Use): как дать Codex руки

📚 Навигация по серии: Предыдущая статья 16 · Безопасность и границы рисков четко очертила границы рисков и дозволенного для Codex. Эта статья открывает для него новые двери — мы позволим Codex видеть ваш экран, управлять приложениями рабочего стола и открывать браузер. Вы сможете протестировать нативное приложение, воспроизвести баг, который проявляется только в графическом интерфейсе, или выполнить ряд действий на сайтах, где вы уже авторизованы. Ранее вся работа Codex ограничивалась файлами и консолью, теперь же он впервые получает доступ к GUI. В следующей главе 18 · Подробный разбор конфигурации config.toml мы вернемся к конфигурационному файлу, чтобы детально разобраться во всех переключателях.

⚠️ Экспериментальная функция, может измениться в последующих версиях. Описываемый функционал управления компьютером (Computer Use), расширение Chrome и встроенный браузер активно развиваются. Все упоминания интерфейсов, названий меню, поведения по умолчанию и горячих клавиш сверяйте с тем, что отображается у вас, и с официальной документацией Codex.

В официальном руководстве OpenAI установлено жесткое территориальное ограничение для функции Computer Use: на момент релиза она доступна в macOS и Windows, но заблокирована для пользователей из Европейской экономической зоны (EEA), Великобритании и Швейцарии. Это связано не с сетевым доступом, а с отключением функционала на региональном уровне: находясь в Лондоне, вы не сможете включить его даже через VPN.

Я обратил на это внимание в прошлом году при изучении структуры каталога документации app: страницы computer-use, browser и chrome-extension специально описывают доступ Codex к GUI, и этот раздел по объему превосходит даже главу о песочнице. То, что OpenAI уделяет этому столько внимания, доказывает одну вещь: AI, умеющий только читать файлы и запускать консольные команды, рано или поздно упрется в стену «это действие можно совершить только в интерфейсе».

Приведу реальный пример: в прошлом году я настраивал небольшую утилиту на Electron. Ошибка возникала только тогда, когда окно растягивали до определенной ширины. Тесты в консоли проходили без ошибок, логи были чистыми. С такими интерфейсными багами мне раньше приходилось вручную менять размеры окна, делать скриншоты и описывать всё на словах. Функция Computer Use создана как раз для решения этой проблемы — она позволяет Codex самому оценивать экран и воспроизводить баги.

В этой статье мы разберем три вопроса: какие три пути взаимодействия с GUI доступны в Codex (управление компьютером, расширение Chrome и встроенный браузер), как их включить и каковы границы безопасности при работе с реальным рабочим столом и браузером.

После прочтения этой статьи вы получите:

  • Краткое объяснение сути Computer Use, понимание того, когда его стоит применять (и когда этого делать не следует)
  • Четкое разграничение трех путей: встроенный браузер (localhost) → расширение Chrome (авторизованные сайты) → управление компьютером (весь рабочий стол) с наглядной таблицей сравнения
  • Пошаговое руководство по запуску каждого инструмента (какие плагины ставить, какие системные права выдавать, как вызывать через @), а также региональные и платформенные ограничения
  • Логику доступа к сайтам по умолчанию (запрос разрешения для каждого нового домена), управление списками allowlist / blocklist и флаг отключения запросов
  • Риски прямого управления реальным рабочим столом и браузером по сравнению с песочницей, встроенные барьеры безопасности и ваши личные правила контроля
  • Простой практический пример с ожидаемыми результатами: загрузка локального сайта во встроенном браузере

01 Суть Computer Use и сценарии применения

Сразу к делу: Computer Use позволяет Codex управлять GUI подобно человеку, «оценивая изображение на экране и используя виртуальные клавиатуру и мышь» — он видит окна, меню и кнопки в macOS и Windows, может кликать, вводить текст и переключаться между вкладками. Этот инструмент используется тогда, когда консольных команд и структурированных интеграций (плагинов, MCP) оказывается недостаточно.

Официальное описание позиционирует его применение очень просто: только тогда, когда задачу невозможно проверить анализом файлов или вывода консольных команд. Например:

  • Тестирование разрабатываемого с помощью Codex приложения под macOS, Windows, в симуляторе iOS или других GUI-программ.
  • Воспроизведение багов, проявляющихся исключительно в графическом интерфейсе (как в моем примере с изменением размеров окна).
  • Изменение настроек программ, доступных только через графический интерфейс.
  • Поиск информации в базах данных или программах, для которых нет готовых плагинов интеграции.
  • Выполнение комплексных сценариев, задействующих несколько разных приложений.

Аналогия: стажер, сидящий рядом с вами, вместо удаленного коллеги, общающегося только по почте. Удаленный сотрудник (консоль / плагины) получает текстовые инструкции и присылает файлы в ответ, у него нет доступа к вашему экрану. Помощник с функцией Computer Use находится прямо за вашим рабочим столом — он задействует клавиатуру и мышь, видит происходящее на мониторе, а вы можете контролировать каждое его движение. Это очень удобно, но помните, что он управляет вашим реальным компьютером, а не виртуальной изолированной машиной. Об аспектах безопасности мы поговорим ниже.

Здесь начинающие часто совершают ошибку, о которой особо предупреждает руководство:

对于你在本地构建的 Web 应用,先用内置浏览器(in-app browser),而不是 Computer Use。

Почему? Потому что Computer Use — самый ресурсоемкий и медленный инструмент. Он требует создания скриншотов, вычисления координат и попиксельного перемещения курсора. Не стоит использовать сложные инструменты там, где можно обойтись простыми. Правило выбора приоритетов таково: если есть плагин или MCP — используйте его; если перед вами сайт — используйте встроенный браузер; и только при необходимости управления рабочим столом, симулятором или программами без API переходите на уровень Computer Use. В следующем разделе мы детально разберем эти три пути.

💡 一句话总结:Computer Use让 Codex 看屏幕、动鼠标键盘操作整个桌面,是「最重」的那条路——专留给原生 App、只在界面现形的 bug、没插件的数据源;本地 Web 应用先用内置浏览器,别一上来就掏它


02 Разграничение трех путей: встроенный браузер / расширение Chrome / управление компьютером

Прежде чем продолжить, важно прояснить частую ошибку: у Codex есть три разных пути работы с интерфейсами, и новички нередко выбирают не тот инструмент. В официальной документации под каждый из них выделена своя страница, что подчеркивает их различие.

Аналогия: три способа добраться до места назначения. До близкого места (локальный сайт) можно дойти пешком — быстро и бесплатно. Это встроенный браузер. Для поездки в офис, где у вас есть пропуск (авторизованные сайты), вы берете свой автомобиль с пропуском под стеклом. Это расширение Chrome. Если же вам нужно добраться в труднопроходимую местность (нативный рабочий стол, приложения без API), вы арендуете внедорожник. Это управление компьютером. Каждый транспорт выполняет свою задачу, но ошибка при выборе приведет к потере времени или невозможности доехать.

Разберем сферы применения каждого решения:

Встроенный браузер (in-app browser) — встроенный веб-обозреватель в окне Codex. Вы и агент используете общий экран просмотра страницы. Его сфера: локальные серверы веб-разработки (localhost), превью файлов и публичные веб-страницы без авторизации. Он не имеет доступа к сессиям вашего основного Chrome, кукам, расширениям или открытым вкладкам — среда полностью изолирована. Используйте его для быстрой оценки верстки после правок кода.

Расширение Chrome (Codex Chrome extension) — применяется тогда, когда задаче необходимы активные сессии авторизации в вашем браузере. Примеры: работа с LinkedIn, Salesforce, Gmail или корпоративной CRM. Инструмент использует активный профиль Chrome и доступен везде, где выполнен вход.

Управление компьютером (Computer Use) — как отмечалось выше, используется для работы со всей операционной системой: нативными программами, эмуляторами и межпрограммными процессами. Самый мощный и медленный инструмент.

Таблица сравнения:

ПараметрВстроенный браузерРасширение ChromeУправление компьютером
Что контролируетСтраницы во встроенном браузере CodexВаш реальный Chrome (с авторизацией)Весь рабочий стол macOS / Windows
Типовые задачиlocalhost, превью файлов, открытые сайтыLinkedIn / Salesforce / Gmail / внутренние системыНативные программы, симуляторы, комплексные сценарии
Использование авторизации❌ Нет, полная изоляция✅ Да, использует сессию вашего ChromeЗависит от конкретного запускаемого приложения
Способ вызова@Browser или запрос «через браузер»@Chrome@Computer или @Имя_программы
Что устанавливатьПлагин BrowserПлагин Chrome + расширение ChromeПлагин Computer Use
**Нагрузка / СкоростьМинимальная нагрузка, быстроСредняяМаксимальная нагрузка, медленно

Краткое распределение ролей: локальные сайты открываем во встроенном браузере, авторизованные ресурсы — через расширение Chrome, рабочий стол — через Computer Use. В следующих трех разделах мы разберем их запуск.

💡 一句话总结:碰界面有三条路——内置浏览器(localhost / 公开页,不碰登录态)、Chrome 扩展(你已登录的网站)、电脑操控(整个桌面);从轻到重,用错那条要么够不着要么瞎费劲,先对着表选对路再动手。


03 Инструмент 1: Встроенный браузер (приоритетный выбор)

Начнем с самого легкого инструмента — встроенного браузера. Его назначение формулируется просто: вы и Codex используете общий экран просмотра веб-страницы для превью и тестирования локальных приложений.

装插件 + 打开它

Шаг 1. Установите плагин Browser: перейдите в раздел Plugins в Codex, добавьте плагин Browser и активируйте его (конкретное расположение меню зависит от версии).

Шаг 2. Откройте встроенный браузер. Доступны несколько способов:

  • Нажать на кнопку на панели инструментов;
  • Перейти по ссылке внутри диалога;
  • Вручную ввести адрес в адресной строке встроенного браузера;
  • Использовать горячие клавиши — Cmd+Shift+B в macOS или Ctrl+Shift+B в Windows.

让 Codex 自己操作内置浏览器

Встроенный браузер можно использовать не только для просмотра. Вы можете поручить Codex самостоятельно управлять им: кликать по ссылкам, вводить данные, оценивать состояние страницы, делать скриншоты, скачивать ресурсы, запускать JS-скрипты проверки или верифицировать исправления.

Вызов осуществляется через промпт «используй браузер» или прямое упоминание @Browser. Пример запроса:

text
用浏览器打开 http://localhost:3000/settings,复现那个布局 bug,
只修溢出的那几个控件,别动其它。

它有个「批注」绝活

Главное преимущество встроенного браузера — возможность добавления визуальных комментариев (comment / annotation). Если баг виден только на отрендеренной странице, вы можете обвести элемент мышкой и оставить комментарий. Это дает Codex точную привязку к элементу верстки, что гораздо эффективнее текстовых описаний.

Инструкция по использованию разметки:

  • Перейдите в режим разметки (Annotation mode), выделите область или элемент и введите комментарий;
  • Для выделения рамкой области зажмите Shift при клике;
  • Для мгновенной отправки комментария зажмите Cmd при клике.

После добавления разметки отправьте текстовый запрос в чат. Формулируйте комментарии конкретно:

text
这个按钮在手机上会溢出。能放一行就保持一行,
放不下就换行,但别改卡片的高度。

Также доступна тонкая настройка: нажмите на иконку config на панели комментария. Вы сможете прямо на экране изменить шрифт, кегль, отступы и цвет с мгновенным превью результатов, и отправить Codex уже готовый макет. Это намного точнее текстовых пожеланий вроде «сделай шрифт побольше, а цвета — потеплее».

На моем опыте разметка элементов идеально подходит для точечных визуальных правок. В прошлом месяце при настройке страницы тарифов всплывающая подсказка tooltip постоянно перекрывала маркер графика. Вместо вычисления координат я просто обвел область подсказки и написал: «Сдвинь ее внутрь графика, чтобы она не перекрывала точки». Codex справился с первого раза. Главное — точно передать визуальное состояние, которое вы хотите исправить: процесс загрузки, пустое состояние, окно ошибки или статус успеха.

Помните о границах изоляции, описанных в руководстве:

内置浏览器不支持认证流程、登录后的页面、你日常浏览器的配置、cookie、扩展、或已经打开的标签页。它只用来打开不用登录就能访问的页面。

Таким образом, ресурсы с авторизацией в нем открыть нельзя — для этого используется расширение Chrome, о котором пойдет речь далее.

💡 一句话总结:内置浏览器是「Codex 自带的、干净隔离的浏览器」,装 Browser 插件后用 @Browser 调,专治 localhost / 公开页的预览和验证;批注(圈元素 + 留话)是它最值钱的绝活;但它不碰登录态,要登录的站交给 Chrome 扩展。


04 Инструмент 2: Расширение Chrome (для авторизованных сайтов)

Если для выполнения задачи требуется текущая сессия вашего браузера с авторизацией (работа с LinkedIn, Salesforce, Gmail или корпоративной CRM-системой), необходимо использовать расширение Chrome.

从 Plugins 装

  1. Откройте Codex и перейдите в Plugins.
  2. Добавьте плагин Chrome.
  3. Следуйте шагам мастера установки — он предложит установить расширение Codex Chrome из официального магазина Chrome и подтвердить разрешения в браузере.
  4. Откройте Chrome и убедитесь, что расширение показывает статус Connected (Подключено).

Установка расширений из официального магазина может требовать VPN; переходите на страницу расширения строго по ссылкам из мастера установки, чтобы не установить неофициальную копию.

После этого откройте новую сессию. Codex сам предложит использовать Chrome при обнаружении веб-задач, или вы можете вызвать его вручную:

text
@Chrome 打开 Salesforce,根据这些通话记录更新对应的客户。

Если Chrome закрыт, Codex запустит его сам. Полезная деталь: задачи выполняются в отдельной группе вкладок Chrome (tab group). Вкладки одной сессии группируются вместе, чтобы не создавать хаос в вашем браузере.

网站访问:默认每个新站都先问你

Поймите логику безопасности расширения Chrome (и встроенного браузера по умолчанию) — оно не имеет бесконтрольного доступа к сети после установки:

默认情况下,Codex 在操作每一个新网站之前都会先问你。 它按网站的 host(比如 example.com )来弹这个确认。

При запросе доступны три варианта действий на выбор:

  • Разрешить только в текущей сессии;
  • Разрешить всегда для этого домена (последующие запросы не выводятся);
  • Заблокировать этот сайт.

Более тонкое управление доступно в настройках Computer Use — вы можете вести списки доменов allowlist (белый список) и blocklist (черный список):

  • Домены из белого списка открываются без запросов;
  • Домены из черного списка блокируются сразу;
  • Удаление домена из белого списка вернет запросы подтверждения при его открытии; удаление из черного списка переведет домен в режим запросов вместо безусловной блокировки.

Выделим две важные настройки, о которых часто забывают начинающие:

НастройкаПоведение по умолчаниюВажный нюанс
Запросы для новых сайтовПо умолчанию включеныЭто базовый уровень защиты, не спешите его отключать
Разрешить контент браузера всегда (always allow browser content)При ручном включении Codex не выводит подтверждения для доменовВключение этого параметра полностью убирает базовый барьер защиты, взвесьте риски
История просмотров браузера (browser history)Запрашивается каждый раз, пункта «разрешить всегда» нетИстория может содержать внутренние адреса или поисковые запросы; одобряйте доступ только по необходимости

В истории браузера часто сохраняются внутренние адреса, поисковые запросы и данные авторизации. В случае успешной атаки внедрения промпта эти данные могут быть скопированы злоумышленником. Именно поэтому разработчики намеренно не добавили возможность выдать постоянное разрешение к истории.

连不上怎么办

Если соединение с расширением отсутствует, выполните следующие шаги (предварительно убедившись, что домен не внесен в черный список blocklist):

  1. Нажмите на иконку расширения в Chrome и проверьте статус. Если он отличается от Connected или выводится ошибка native host, перейдите в Plugins в Codex, удалите плагин Chrome и установите его заново через мастер настройки.
  2. В разделе Plugins убедитесь, что плагин Chrome находится в статусе Включен.
  3. Проверьте, что вы используете профиль Chrome с установленным расширением (если у вас настроено несколько профилей в браузере).
  4. Запустите новую сессию для сброса кэша подключений.
  5. Перезагрузите Chrome и Codex; при отсутствии результата выполните чистую переустановку расширения и плагина.
  6. При сохранении статуса ошибки отправьте отчет через команду /feedback, прикрепив ID текущей сессии.

Дополнительный нюанс: если задача требует загрузки локального файла с диска, откройте настройки расширения в Chrome и активируйте флаг «Allow access to file URLs» (Разрешить доступ к файлам по ссылкам), иначе браузер заблокирует чтение диска. После изменения настроек перезапустите задачу.

💡 一句话总结:要登录态的网站才用 Chrome 扩展,从 Plugins 加 Chrome 插件、跟向导装扩展、确认 Connected ,用 @Chrome 调;默认每个新站先问你,allowlist / blocklist 在 Computer Use 设置里管,「始终允许浏览器内容」一开就等于拆闸——想清楚再开。


05 Инструмент 3: Управление компьютером (весь рабочий стол)

Наиболее ресурсоемкий инструмент. Управление компьютером позволяет Codex видеть экран и задействовать мышь и клавиатуру для работы со всей ОС macOS / Windows. Настройка требует прохождения двух барьеров — регионального и системных разрешений.

先对地区和平台

Проверим требования систем:

  • Платформа: macOS и Windows. Поддержки Linux нет (у Codex нет десктопного приложения под Linux, см. главу 07).
  • Региональные ограничения: запуск заблокирован на территории EEA, Великобритании и Швейцарии. В этих регионах функция не включится, это не является багом.

装插件 + 给系统权限

Шаг 1. Установите плагин Computer Use: откройте настройки Codex, перейдите в раздел Computer Use и нажмите Install перед началом работы.

Шаг 2. Выдайте системные права доступа (зависит от ОС):

В macOS требуются два типа прав (запросы появятся при первом запуске):

РазрешениеНазначение
Запись экрана (Screen Recording)Позволяет Codex видеть окна программ
Универсальный доступ (Accessibility)Позволяет Codex кликать и вводить текст

Если Codex выдает ошибки доступа к окнам, перейдите в Системные настройки > Конфиденциальность и безопасность и проверьте активность этих флагов для Codex.

В Windows подобных системных настроек нет, но действует правило фокуса ввода: агент работает на активном рабочем столе, окно целевой программы должно быть открыто на экране, при этом:

В Windows функция Computer Use не может выполняться в фоновом режиме. Во время работы Codex физически перемещает курсор, вводит текст и перехватывает управление активным окном.

В Windows агент в процессе работы перехватывает управление курсором и клавиатурой, и вы не сможете параллельно пользоваться компьютером. Чтобы задачи выполнялись в ваше отсутствие, разработчики предлагают два пути: оставить ПК включенным и разблокированным (с контролем статуса через мобильный телефон) или запустить Codex внутри виртуальной машины Windows, чтобы он перехватывал управление в ней, а не на хосте.

怎么调起来

Для запуска используйте упоминание @Computer или конкретного приложения (например, @AppName), детально описав программу, окно и сценарий действий. Примеры:

text
用电脑操控打开这个 App,复现新手引导里的那个 bug,
修掉导致它的最小代码路径。每改一次,就把同一条 UI 流程重跑一遍。
text
打开 @Chrome,验证最新改动之后结账页面是否还正常。

Обратите внимание на вызов @Chrome во втором примере: он может работать как через расширение Chrome, так и через Computer Use визуально. Рекомендация разработчиков: используйте специализированные плагины и MCP при их наличии, переходя к Computer Use только для задач визуального контроля.

权限和审批:和系统权限是两码事

Эти понятия часто путают, поэтому в руководстве они разделены:

  • Системные разрешения (запись экрана и универсальный доступ в macOS) дают Codex техническую возможность работы с GUI.
  • Согласование программ определяет, к каким именно приложениям вы разрешаете доступ. Перед открытием новой программы агент выведет запрос. Вы можете выбрать статус Разрешить всегда (Always allow), чтобы отключить этот запрос в будущем (управление списком доверенных программ ведется в настройках Computer Use).
  • Любые операции с файлами, кодом и консолью по-прежнему ограничиваются настройками песочницы и согласования сессии (описанными в главах 15 и 16).

При выполнении потенциально опасных действий Codex может вывести дополнительный запрос.

锁定使用(macOS 专属,谨慎开)

Функция Locked use доступна только на macOS, отключена по умолчанию и требует ручной настройки. Она предназначена для ситуаций, когда вы запустили задачу удаленно, но экран вашего Mac заблокирован.

При включении Codex устанавливает плагин авторизации Apple (authorization plug-in). Он интегрируется в систему входа macOS и позволяет временно разблокировать экран для выполнения задач Computer Use при сохранении общей защиты системы. Разработчики выделяют 4 барьера безопасности:

  • Сессия разблокировки имеет короткий интервал действия;
  • Доступ выдается только для активных сессий Codex;
  • Во время работы экран Mac закрывается специальной заглушкой;
  • При малейшем перемещении мыши или нажатии клавиш локально система блокируется, а сессия приостанавливается.

Этот функционал сделан узкоспециализированным и не может использоваться как обходной путь удаленного доступа. На этапе освоения не включайте этот режим без явной необходимости.

💡 一句话总结:电脑操控碰整个桌面,门槛最高——地区上 EEA / 英国 / 瑞士不支持、Linux 没有;macOS 装插件后给「屏幕录制 + 辅助功能」,Windows 会抢你前台;系统权限和应用审批是两码事,文件 / shell 照旧走沙箱;锁定使用是 macOS 专属、默认关、刻意做窄,新手先别碰。


06 Безопасность: управление реальной системой, а не изолированной песочницей

Этот раздел обязателен к прочтению. Управление компьютером и расширение Chrome взаимодействуют с вашей реальной системой и авторизованными аккаунтами, а не с временным контейнером. Границы доверия здесь сильно отличаются от работы в песочнице (глава 15). Мысль главы 16 о том, что риски растут вместе с удобством, проявляется здесь в полной мере.

风险到底在哪

При запуске Computer Use агент получает возможность считывать изображение с экрана, делать скриншоты, использовать мышь и клавиатуру в целевом окне и работать с буфером обмена. Все эти визуальные данные попадают в контекст модели. Выделим два главных риска:

  • Авторизованные сессии открывают доступ ко всему: агенту не нужно вводить логин и пароль, ему доступно всё, куда выполнен вход на компьютере. Руководство предупреждает:

网页可能包含恶意或误导性内容,而网站会把已批准的点击、表单提交、登录态下的操作,当成是你本人发起的

  • Внедрение промпта (prompt injection): как отмечалось в главе 16, в тексте страниц могут быть спрятаны скрытые инструкции для AI. При работе с браузером этот риск возрастает, поскольку Codex анализирует внешние динамические сайты, которые вы не контролируете.

官方给了哪些护栏

Разработчики предусмотрели несколько уровней защиты:

  • Запросы для новых доменов (раздел 04) защищают браузерную часть;
  • Согласование запуска приложений (раздел 05) защищает десктопную часть;
  • Возможность прерывания сессии — вы можете в любой момент остановить выполнение задачи или перехватить управление мышью;
  • Жесткие системные ограничения:

电脑操控无法自动化终端应用、也无法自动化 Codex 自己(那会绕过 Codex 的安全策略);它也无法以管理员身份认证、无法替你批准电脑上的安全和隐私权限提示

Последний пункт очень важен — агент физически не может сам нажать кнопку «разрешить» в системном диалоге прав доступа OS, этот рубеж всегда контролирует человек.

你自己该守的几条

Помимо встроенных ограничений, придерживайтесь правил ручного контроля:

Ситуация❌ Так делать нельзя✅ Рекомендуемые действия
Количество задач за разДавать несколько процессов в разных программах одновременноТолько одна конкретная задача или процесс за один раз
Важные приложенияОставлять открытыми онлайн-банкинг или менеджер паролейЗакрывать приложения с конфиденциальными данными, если они не нужны для задачи
Работа в WindowsПытаться работать параллельно во время перехвата управленияИспользовать второй монитор / виртуальную машину или ставить задачу на паузу
Задачи с паролями/ключамиОставлять агента без присмотраЗапускать только под личным контролем с пошаговым подтверждением
Постоянные разрешенияРазрешать всё подряд ради экономии времениВыдавать статус постоянного доверия только проверенным программам и доменам
Настройки оплаты, сети и приватностиПозволять агенту подтверждать эти операцииЛично контролировать весь процесс выполнения
Ошибка с выбором окнаЖдать, пока он исправит действие самНемедленно прервать выполнение задачи

Учтите важный момент: изменения, внесенные через GUI-интерфейсы, могут не отображаться в панели аудита (review pane) до тех пор, пока файлы не будут сохранены на диск и проиндексированы. Пустая панель аудита не означает отсутствие изменений. Кроме того, настройки конфиденциальности вашего аккаунта ChatGPT применяются ко всем данным Codex, включая скриншоты экрана при управлении компьютером.

Если вы хотите использовать браузер параллельно с работой агента, настройте запуск Codex в другом выделенном браузере, чтобы изолировать сессии друг от друга.

Главное правило: каждое действие в интерфейсе является реальным. В отличие от песочницы, здесь нельзя стереть временный контейнер. Нажатие кнопки оплаты приведет к реальному списанию средств. Держите под личным контролем все критические и финансовые транзакции.

💡 一句话总结:电脑操控和 Chrome 扩展碰的是真桌面 / 真浏览器(非沙箱),风险在「登录态即钥匙」和「页面里的提示注入」;官方护栏有「逐站 / 逐应用先问、随时可中断、终端 / Codex 自身 / 系统权限弹窗它碰不了」,你自己则要一次一个目标、关掉无关敏感应用、把涉钱和不可逆操作防住


07 Практика: загружаем локальный сайт во встроенном браузере

Теория без практики бесполезна. Проведем простой тест: запустим встроенный браузер (самый легкий и безопасный путь), откроем локальную страницу и попросим Codex считать данные. Этот тест не затрагивает ваши учетные данные и не перехватывает управление системой, он нужен для проверки работоспособности канала.

Почему мы тестируем именно встроенный браузер? Он не требует прав доступа в ОС, изолирован от вашего Chrome и работает во всех регионах, что минимизирует риски ошибок настройки.

Шаг 1: Создаем простую локальную страницу

Запустите простейший веб-сервер для отдачи файлов. Например:

bash
python3 -m http.server 3000

Ожидаемый результат: терминал выведет сообщение Serving HTTP on :: port 3000 (http://[::]:3000/) ..., подтверждая запуск сервера. Откройте в своем браузере http://localhost:3000 для проверки (должен отобразиться список файлов папки).

Шаг 2: Установка плагина и открытие встроенного браузера

В разделе Plugins в Codex убедитесь, что плагин Browser установлен и включен. Затем откройте окно встроенного браузера с помощью горячих клавиш:

  • macOS: Cmd+Shift+B
  • Windows: Ctrl+Shift+B

✅ Самопроверка: в интерфейсе Codex появится область встроенного браузера.

Шаг 3: Запрос на чтение страницы силами Codex

Отправьте безопасную команду на чтение локального адреса:

text
用浏览器打开 http://localhost:3000,
把页面上列出的文件名读给我,并截一张图。

Ожидаемый результат: встроенный браузер перейдет по адресу http://localhost:3000, Codex считает список файлов и выведет его в чат, прикрепив скриншот экрана. Отображение списка файлов и скриншота подтверждает успешную настройку инструмента. При первом переходе по адресу Codex может вывести запрос на одобрение домена, подтвердите его.

Шаг 4 (опционально): Тестирование визуальных комментариев

Для оценки разметки перейдите в режим разметки, обведите элемент верстки на экране встроенного браузера и добавьте комментарий (например, «увеличь шрифт этого заголовка»), а затем отправьте запрос Codex. Ожидаемый результат: Codex внесет правки именно для выбранного элемента, избавив вас от необходимости описывать его расположение текстом.

Мы проверили базовую цепочку: установка плагина Browser → запуск встроенного браузера → чтение данных локального сайта. Взаимодействие с расширением Chrome или функции Computer Use строятся на тех же принципах (установка плагина → выдача прав → вызов через @ → визуальный контроль), но содержат больше уровней защиты и системных прав.

💡 一句话总结:动手就三步——起本地服务、打开内置浏览器(Cmd/Ctrl+Shift+B)、给一条只读指令看它真把页面读回来;这是三条路里最轻最安全的入口,跑通它,另外两条照葫芦画瓢、只是多几道闸。


08 Итоги

В этой статье мы разобрали интеграцию Codex с графическим интерфейсом — от локальной веб-верстки до полного управления операционной системой и воспроизведения GUI-багов. Главное — вы научились различать три пути работы с графикой.

Повторим ключевые выводы:

ЗадачаКлючевой нюанс
Понимание Computer UseПозволяет Codex видеть экран и управлять вводом; самый ресурсоемкий инструмент, локальный веб тестируем во встроенном браузере
Разграничение путейВстроенный браузер (localhost) → расширение Chrome (сессии) → управление компьютером (весь экран) по нарастающей
Встроенный браузерУстановка плагина Browser, вызов через @Browser, горячие клавиши Cmd/Ctrl+Shift+B, фишка — разметка элементов
Расширение ChromeУстановка плагина и расширения Chrome, вызов через @Chrome, по умолчанию каждый домен требует одобрения
Управление компьютеромУстановка плагина, права в macOS (экран, универсальный доступ), в Windows перехватывает ввод; недоступно в EEA, Великобритании, Швейцарии и на Linux
БезопасностьРабота с реальной ОС: контролируйте задачи поодиночке, ограничивайте область действий, блокируйте критические транзакции

Теперь вы умеете: четко разграничивать три пути работы с графическим интерфейсом и выбирать нужный инструмент под задачу; самостоятельно запускать встроенный браузер для тестирования локальных страниц; устанавливать расширение Chrome и плагин управления компьютером с учетом ограничений систем и регионов; оценивать риски прямого управления реальной системой. Этот шаг превращает Codex из локального редактора кода в интерактивного агента, способного видеть ваш экран и работать с GUI приложениями.

Связь между тремя инструментами представлена на схеме:

Три пути работы с интерфейсом в Codex: открытые сайты во встроенном браузере / авторизация через расширение Chrome / нативный рабочий стол через Computer Use

Эта схема наглядно иллюстрирует логику выбора инструмента в зависимости от характера веб-страницы или интерфейса программы. Обращайтесь к ней при возникновении сомнений.

💡 一句话总结:三条路从轻到重——内置浏览器管本地和公开页、Chrome 扩展管你登录着的网站、电脑操控管整个桌面;权限越大风险越真,核心安全原则只有一条:操作真桌面 / 真浏览器时,每一下都是「真的」,涉钱和不可逆的自己把着方向盘


В следующей статье — 18 · Подробный разбор конфигурации config.toml. При настройке этих плагинов и списков доменов параметры были разбросаны в разных местах. На самом деле большинство переключателей Codex собраны в одном файле — config.toml. В следующей главе мы подробно изучим его структуру: выбор моделей, настройки песочницы, согласования и MCP. Мы разберем назначение каждого ключа, параметры по умолчанию и необходимость перезапуска. И небольшой вопрос на размышление: в этой статье мы давали агенту права через плагины и системные настройки. Если вы хотите зафиксировать предпочтения (например, «какую модель использовать по умолчанию» или «какие права выставлять на старте») на постоянной основе, где именно это нужно прописать?


Рекомендуемое чтение