Claude Computer Use — AI управляет твоим Mac мышкой и клавиатурой, пока ты едешь в метро

Claude Computer Use — AI управляет твоим Mac мышкой и клавиатурой, пока ты едешь в метро

23 марта Anthropic включила то, чего многие ждали и боялись одновременно: Claude теперь умеет управлять компьютером. Не через API-интеграции, не через плагины — буквально двигать курсор, кликать кнопки, печатать текст и скроллить страницы. Как человек, только без кофе-брейков.

А неделей раньше вышел Dispatch — пульт управления Claude с телефона. Соединяем одно с другим, и получается: отправляешь задачу с iPhone в метро, а Claude на твоём Mac открывает браузер, заполняет таблицу, собирает отчёт и пишет тебе «готово».

TL;DR: Claude Computer Use — research preview, где AI-агент видит экран и управляет мышью/клавиатурой на macOS. Работает для Pro ($20/мес) и Max ($100/мес). В связке с Dispatch — задачи с телефона. OSWorld: 72.5% у Sonnet 4.6 vs 75% у GPT-5.4. Но ~50% провалов на сложных задачах, только macOS, и каждая prompt injection теперь — уязвимость на уровне ОС.

Как это работает

Когда Claude получает задачу, он сначала проверяет: есть ли прямой коннектор? Для Gmail, Slack, Google Calendar — есть. Тогда используется API, быстро и надёжно.

Но если коннектора нет — Claude переключается в режим computer use: делает скриншот экрана, анализирует его визуально, решает куда кликнуть, кликает, снова делает скриншот, проверяет результат. Это цикл Think → Screenshot → Act → Screenshot → Verify, и он повторяется до завершения задачи.

Трёхуровневая иерархия инструментов:

• Уровень 1: Коннекторы — прямой API к сервисам (Gmail, Slack, Calendar). Быстро, надёжно, предсказуемо
• Уровень 2: Claude Code — для задач разработки: IDE, терминал, git. Задачи маршрутизируются в Code автоматически
• Уровень 3: Computer Use — fallback, когда ничего другого не подходит. Медленнее, но работает с любым приложением

Никакой установки не нужно — computer use включается галочкой в настройках Claude Desktop.

Dispatch + Computer Use = пульт от рабочего места

Dispatch вышел 17 марта как пульт управления. Computer Use делает этот пульт по-настоящему мощным.

Типичный сценарий:

1. Утро, ты в дороге. Открываешь Claude на телефоне
2. Пишешь: «Открой почту, найди письмо от клиента с файлом, сохрани файл на рабочий стол, открой в Numbers и сделай сводную таблицу»
3. Задача уходит через Anthropic на твой Mac (он должен быть включён и не в спящем режиме)
4. Claude открывает почту, находит письмо, скачивает файл, запускает Numbers, строит таблицу
5. Ты получаешь уведомление «готово» на телефон

Архитектура простая: телефон — это только интерфейс, вся работа выполняется локально на Mac. Файлы никуда не уходят, всё обрабатывается на твоём компьютере. QR-код связывает устройства через одну непрерывную сессию.

Можно настроить повторяющиеся задачи: «каждое утро проверяй почту и собирай брифинг», «каждую пятницу вытаскивай метрики из дашборда».

Бенчмарки: почти догнал GPT-5.4

OSWorld — стандартный бенчмарк для computer use агентов (управление десктопными приложениями):

• GPT-5.4 — 75%
• Claude Sonnet 4.6 — 72.5%
• OpenAI Operator (CUA) — 38.1%
• Claude 3.5 Sonnet (2024) — 22%

Разница между Claude 3.5 Sonnet (22%) и Claude Sonnet 4.6 (72.5%) — это три поколения за полтора года. Кто говорит «у Claude success rate 22%» — цитирует позапрошлогодние данные.

Но есть нюанс, который shareuhack.com формулирует точно: OSWorld измеряет сырую способность API, а не ваш опыт в продукте. Продуктовая обёртка (Cowork, Operator) добавляет свою UX-оптимизацию и обработку ошибок. А ваши задачи — не бенчмарк: у вас свои приложения, файловая структура и привычки.

На практике, по данным apexhours.com, ~50% сложных мультиприложенческих задач заканчиваются провалом. Простые задачи (найди файл, сделай сводку, отправь письмо) работают стабильнее.

Подводные камни

Prompt injection — теперь OS-level уязвимость. Когда Claude был чатботом, prompt injection заставлял его сказать глупость. Когда Claude управляет мышью — injection может заставить его открыть почту и переслать файлы. Kunal Ganglani описывает конкретный сценарий: вы просите Claude исследовать конкурентов, он заходит на сайт с невидимым injected-текстом, и этот текст говорит Claude переслать документы на внешний адрес. По данным Anthropic, с новыми safeguards только 1.4% атак успешны (против 10.8% раньше на Opus 4.5). Звучит мало, но задача, работающая 7 раз в неделю против терпеливого атакующего — другая математика.

Компьютер должен быть включён. Dispatch + Computer Use — это не облачный агент. Если Mac уснул или Claude Desktop закрыт — ничего не работает. Для scheduled tasks из облака есть Cloud Scheduled Tasks, но computer use в облаке пока не работает.

Только macOS. Windows и Linux — нет. На Reddit пользователи Windows перечисляют 6 критических багов Claude Code, закрытых как «not planned». Computer use для Windows даже не анонсирован.

Медленнее прямых интеграций. Screenshot → анализ → клик → screenshot — это секунды на каждое действие. Задача, которую API выполнит за 200мс, через computer use может занять минуту. Anthropic сами предупреждают: «screen-based operations are a lot slower than direct API integrations».

~50% провалов на сложных задачах. Anthropic честно говорит: «some complex tasks might require multiple attempts before Claude gets them right». Когда задача включает 3+ приложения и нетривиальную навигацию — шансы на успех с первого раза примерно 50/50.

Альтернативы

• OpenAI Operator — browser-only агент внутри ChatGPT. Работает только в браузере (не на десктопе), 38.1% на OSWorld, 58.1% на WebArena. Входит в ChatGPT Pro за $200/мес. Проще в использовании, но нет десктопной автоматизации — нельзя открыть Numbers или Figma.

• Google Project Mariner — Chrome-расширение для автоматизации в браузере. $19.99/мес через Google One AI Premium. Самый дешёвый вариант и глубокая интеграция с Google Workspace, но ограничен экосистемой Google и браузером Chrome.

• Manus Desktop — запущен 16 марта, за неделю до Claude Computer Use. Браузер + десктоп, free tier, но 57.7% на GAIA L3 (другой бенчмарк, прямое сравнение с OSWorld некорректно). Менее зрелый продукт, зато бесплатный для старта.

• OpenClaw — open-source, 216K+ звёзд, работает с любой моделью (Claude, GPT, DeepSeek, локальные через Ollama). Подключается к WhatsApp, Telegram, Slack, Discord. ~$5-20/мес за API. Мощнее по кастомизации, но сложнее настроить безопасно и нет встроенных safeguards.

Вердикт

Для простых повторяющихся задач — «проверяй почту каждое утро», «скачивай отчёт каждую пятницу» — связка Dispatch + Computer Use уже работает и экономит время. Если ты на Pro ($20/мес) и у тебя Mac — включи и попробуй.

Для сложных мультиприложенческих сценариев — рано. 50% успеха на первый запуск значит, что ты потратишь больше времени на проверку и переделку, чем сэкономишь. А prompt injection на computer use — не теоретическая угроза, а конкретный подтверждённый вектор атаки. Не давай Claude доступ к финансовым, медицинским или юридическим приложениям.

Как попробовать

1. Обнови Claude Desktop до последней версии на macOS
2. Включи Computer Use в настройках Claude Desktop (Settings → Features → Computer Use)
3. Свяжи телефон через Dispatch: Settings → Dispatch → сканируй QR-код с телефона
4. Начни с простого: «Открой Safari, зайди на hacker news, найди топ-3 поста про AI и сохрани ссылки в Notes»
5. Попробуй scheduled task: «Каждое утро в 9:00 проверяй почту и собирай сводку непрочитанных»

• Официальный блог Anthropic — анонс и документация
• Демо-видео — Computer Use в действии
• Настройка Dispatch — пошаговая инструкция
• Безопасность Computer Use — разбор рисков prompt injection