Автономные агенты для написания кода уже на голову превосходят людей в терминалах, репозиториях и CI/CD-пайплайнах, поскольку они напрямую работают с машиночитаемыми файлами проектов и детерминированными инструментами. Однако в тот момент, когда индустрия пытается перенести аналогичную степень автономности на настольное ПО с графическим интерфейсом, прогресс упирается в стену. Большинство архитектур управления компьютером упорно остаются заложниками мультимодальных моделей компьютерного зрения, которые делают скриншоты пикселей и неуклюже симулируют клики мыши.
Исследователи Жуй Се и Лу Чэнь из лаборатории X-LANCE Шанхайского университета Цзяотун и института BIGAI утверждают, что пространственная привязка к сырым пикселям — концептуально хрупкий фундамент для автономной работы. Чтобы устранить это узкое место, команда представила ASIL (Agent-Software Interaction Layer) — агент-ориентированный интерфейс, разработанный для замены дорогостоящего разбора пикселей структурированными JSON-состояниями и исполняемым семантическим кодом.
Проблемы визуального управления интерфейсом
Текущие модели управления компьютером заставляют нейросети анализировать отрендеренные экраны, вычислять смещения координат и отправлять низкоуровневые команды: движения курсора, клики и нажатия клавиш. В своей исследовательской работе ученые наглядно демонстрируют фундаментальную проблему скриншотов: растровое изображение является лишь неполной визуальной проекцией интерфейса. Плоская картинка скрывает неактивные панели, фоновые процессы, деревья метаданных и иерархию документов, одновременно перегружая модель избыточными и ресурсоемкими мультимодальными вычислениями из-за малейших косметических изменений разметки.
Поскольку события графического интерфейса зависят от моторных команд с точной привязкой к координатам, простое намерение пользователя превращается в длинные цепочки действий, подверженные сбоям. Минимальное изменение отступов или смена визуальной темы ломают прогнозирование координат и срывают многоэтапное планирование. Протокол ASIL полностью обходит слой отображения: он извлекает структурированное состояние в формате JSON и решает задачи через прямой доступ к файлам, скриптам и сервисам приложений.
Практическая эффективность и экономия токенов
Эффективность ASIL проверили в 15 программных средах на бенчмарке из 300 задач для одного приложения и 80 комплексных задач для нескольких программ. В связке с проприетарными базовыми моделями ASIL показал успешность выполнения более 80%, затрачивая менее пяти действий на каждую завершенную задачу.
В условиях исправной среды исполнения и лимита в 50 шагов классическое визуальное управление через скриншоты и клики набрало лишь 6,6% и 26,6% успешных попыток на тех же наборах задач (с ростом до 15,0% и 53,3% на более простом базовом тесте, сопоставимом с OSWorld). При сравнении с нативными программными интерфейсами приложений ASIL превзошел UNO API пакета LibreOffice на 28–38 процентных пунктов и показал одинаковый результат со спецификацией MCP для draw.io. Структурированные данные также упрощают оптимизацию открытых моделей: контролируемое дообучение (SFT) повысило точность Qwen2.5-2B с 58,0% до 72,1%, а Qwen2.5-9B — с 66,6% до 80,4%. Легковесное обучение с подкреплением (RL) на собственной траектории довело эти показатели до 74,4% и 82,2% соответственно.
Для корпоративной архитектуры вывод очевиден: надежная автоматизация рабочих процессов требует предоставления структурированных состояний и семантических контрактов API, а не бесконечных попыток улучшить модели компьютерного зрения. И хотя ASIL доказал, что отказ от анализа пикселей кратно снижает операционные издержки и стабилизирует результат, его масштабное внедрение в enterprise-сегменте пока сдерживается устаревшим настольным софтом без скриптовых шлюзов или стандартизированных файловых интерфейсов. Это подчеркивает: главный вызов в автономной автоматизации лежит в дизайне интерфейсов взаимодействия, а не в масштабировании зрительных моделей.