Современные ИИ-агенты для десктопа страдают от «хрупкого моторного слоя». Проблема в том, что они слишком полагаются на анализ скриншотов и предсказание координат. Как отмечают исследователи Юн Лю, Чжэньи Чжун и Чжаньпэн Ши из Шанхайского университета Цзяотун (SJTU), нынешний подход превращает восприятие, действие и верификацию в одну сомнительную операцию. Когда агент кликает по пикселю в надежде, что состояние системы изменится, у него нет структурных данных, чтобы подтвердить, была ли кнопка активна или произошел ли нужный переход в интерфейсе. Этот «слепой клик» создает потолок надежности, выше которого автоматизация сложного софта прыгнуть не может.
Tactile: семантический фундамент для действий
Проект Tactile предлагает решение в виде опенсорсного инструментального слоя, который выполняет роль «рук и ног» агента. Система конвертирует разнородные данные интерфейса — семантику Accessibility API операционной системы, распознанный через OCR текст и визуальные области — в проверяемые состояния.
Вместо того чтобы тыкаться в анонимные пиксели, агенты работают с компактными объектами-кандидатами. У каждого объекта есть метки, роли и исполняемые свойства. Система отдает приоритет нативным семантическим действиям через API доступности. Tactile переключается на OCR и визуальный анализ, если структура программы оказывается непрозрачной.
Так замыкается цикл «наблюдение — привязка — действие — проверка».
Результаты испытаний и выводы
Цифры из исследования Шанхайского университета Цзяотун подтверждают, что дело не в «глупости» моделей, а в плохих инструментах. При использовании Tactile показатель Codex Success@100 в задачах macOSWorld вырос с 41,1% до 50%. В адаптированных под accessibility сценариях успех подскочил с 45,2% до 55,3%. Анализ подмножества из 96 задач показал стабильный рост эффективности для Claude Code, OpenCode и Goose.
Это доказывает: узкое место автономных агентов сегодня — отсутствие семантического субстрата исполнения, который сделал бы действия в софте прозрачными и поддающимися аудиту. Очевидно, что голый интеллект не спасет UI-автоматизацию, если агенты продолжат воспринимать приложения как плоские картинки. Интеграция API доступности с визуальными данными дает ту структурную почву, которая необходима для надежности корпоративного уровня. Разработчикам пора сместить фокус с бесконечного увеличения моделей на создание качественных исполнительных слоев, позволяющих агентам верифицировать собственные действия в режиме реального времени.