Примечание.
Использование компьютера выполняется Публичный предварительный просмотр и подлежит изменению.
Сведения об использовании компьютера
Copilot может взаимодействовать с классическими приложениями от вашего имени, считывая доступное содержимое приложения и визуальный контекст, щелкнув элементы управления, ввод и редактирование текста, нажатие клавиш, прокрутку, перетаскивание и навигацию рабочих процессов между приложениями.
Использование компьютера доступно в GitHub Copilot CLI macOS и GitHub Copilot app Windows.
Использование компьютера расширяет возможности автоматизации задач Copilot , включая рабочие процессы в устаревшем программном обеспечении и программном обеспечении только графического интерфейса, который не предоставляет API, интерфейс командной строки или интеграцию MCP.
Использование компьютера поможет выполнить такие задачи, как:
- Просмотр и сводка сведений в устаревшем классическом приложении.
- Обновление содержимого в презентации.
- Ввод или обновление сведений в программном обеспечении только для графического интерфейса.
- Перемещение информации между приложениями в рамках многоэтапного рабочего процесса.
Совет
Использование компьютера предназначено для задач, требующих взаимодействия с визуальным интерфейсом. Если API, сервер MCP, команда терминала, средство файловой системы или выделенное средство браузера могут выполнять задачу напрямую, это средство обычно предоставляет более структурированную информацию и прогнозируемые результаты.
Capabilities
Если этот параметр включен, использование компьютера позволяет Copilot :
- Чтение содержимого приложения и визуального контекста с помощью дерева специальных возможностей операционной системы или снимка экрана при необходимости визуального контекста.
- Щелкните элементы управления.
- Ввод и изменение текста.
- Нажимайте клавиши, прокрутку и перетаскивание элементов.
- Навигация по рабочим процессам между приложениями.
Агент выбирает эти средства, так как он работает с помощью запроса. Вы можете просмотреть действие средства в сеансе.
Управление доступом для использования компьютера
Использование компьютера по умолчанию отключено. Его необходимо включить, прежде чем агент сможет использовать свои средства.
Компьютер используется в параметрах разрешений средства для Copilot поверхности, в которой выполняется сеанс. Эти параметры определяют, запрашивает ли Copilot утверждение перед управлением классическим приложением. Параметры разрешений средства можно изменить для каждой поверхности. Если появится запрос на утверждение доступа к приложению, вы можете предоставить доступ для текущего сеанса, сохранить утверждение для будущих сеансов или запретить доступ.
Если вы выберете always allow for a specific application, Copilot сохраните решение локально. Решение применяется к обоим GitHub Copilot CLI и GitHub Copilot app на одном компьютере. В приложении можно просмотреть список всегда разрешенных приложений и удалить отдельные утверждения. Удаление приложения удаляет сохраненное утверждение для будущих сеансов как в приложении, так и в CLI. Он не отменяет доступ, уже предоставленный в запущенном сеансе.
Правила разрешений, которые запрещают инструменту, имеют приоритет над автоматическими или сохраненными утверждениями.
Администраторы предприятия могут отключить использование компьютера с помощью управляемых параметров. Включение локального использования компьютера не переопределяет корпоративную политику. Дополнительные сведения о конфигурации см. в разделе Управляемые корпоративными настройками.
Вы можете прервать активную операцию, если компьютер начинает действовать неожиданно. Дважды GitHub Copilot CLIнажмите клавишу ESC . В GitHub Copilot appокне нажмите кнопку "Остановить " или нажмите клавишу ESC.
В macOS компьютер использует руководства по предоставлению:
- Разрешение специальных возможностей для взаимодействия с элементами управления приложениями.
- Разрешение на запись экрана для проверки окон приложений при необходимости визуального контекста.
Ограничения и риски
Компьютер использует интерфейсы, которые могут изменяться между версиями приложений, операционными системами и состояниями окна. Он может выбрать неправильный элемент управления, ввести текст в неправильном расположении или иметь трудности с нестандартными или динамическими элементами управления и сложными рабочими процессами. Изменения в состоянии времени или окна могут привести к различным результатам, вызвать использование компьютера для повторения действия или запретить его продолжение.
Предупреждение
Использование компьютера может автоматизировать взаимодействие между классическими приложениями, но также представляет риски безопасности. Неоднозначные инструкции или непредвиденное содержимое на экране могут привести к непредвиденным действиям, влияющим на устройства, данные или подключенные учетные записи, включая доступ к персональным, финансовым или корпоративным системам. Использование компьютера не является заменой человеческого суждения. Просмотрите целевое приложение, запрашиваемые разрешения и результаты, особенно прежде чем разрешать действия, которые изменяют данные или влияют на других пользователей.
Окна приложений могут отображать конфиденциальную информацию, включая сведения о других людях. Используйте только компьютер с приложениями и задачами, видимые содержимое которых удобно предоставлять в качестве контекста Copilot.
Если вы выберете always allow for a application, более поздние действия, используемые компьютером, могут управлять им, не спрашивая еще раз. Избегайте выбора всегда разрешать приложения, содержащие конфиденциальную информацию или поддерживающие действия с высоким воздействием.
Подробные сведения об ответственном использовании см. в разделе Карточка заявки: агенты GitHub Copilot.
Дальнейшие действия
Сведения о включении и использовании компьютера см. в статье: