Децентрализованные архитектуры для систем на базе больших языковых моделей с несколькими ИИ-агентами распределяют координацию и маршрутизацию между локальными узлами, а не полагаются на централизованный оркестратор. Хотя такая схема устраняет единую точку отказа, отдельные узлы остаются уязвимыми к скрытым операционным сбоям, при которых агент продолжает обмен данными, но незаметно возвращает деградировавшие результаты. Именно эти незаметные сбои подрывают производственные конвейеры задолго до того, как кто-то заметит утечку бюджета.
Чтобы противостоять этим скрытым сбоям, исследователи Керу Чен (Keru Chen) и Шаофен Цзоу (Shaofeng Zou) из Школы электротехники, вычислительной и компьютерной инженерии Аризонского государственного университета, Сен Лин (Sen Lin) с факультета компьютерных наук Хьюстонского университета, Инбинь Лянь (Yingbin Liang) с факультета электротехники и вычислительной техники Университета штата Огайо и Натаниэль Д. Бастиан (Nathaniel D. Bastian) из Инженерной школы Уэйтинга при Университете Джонса Хопкинса разработали фреймворк MeshHeal. Как пояснила исследовательская группа в своем препринте: «Мы представляем MESHHEAL, полностью децентрализованную самовосстанавливающуюся систему, которая объединяет экспертную оценку коллег с согласованными возможностями в двух временных масштабах».
Архитектура с двумя временными масштабами и оценка
В рамках этой концепции с двумя временными масштабами быстрые проверки оценивают и корректируют активные результаты, в то время как медленное отслеживание изолирует постоянно деградирующие агенты от стандартной маршрутизации до тех пор, пока тесты на восстановление не подтвердят их надежность. Чтобы точнее оценивать децентрализованные рабочие процессы, авторы внедрили метод оценки многоагентных систем на основе моделей, который связывает назначение возможностей с моделями выполнения, позволяя избежать скрытых ошибок маршрутизации, которые обычно маскируют небрежные конфигурации на основе промптов.
MeshHeal достигает точности 0,839 на этапе деградации, используя в общей сложности 51 тыс. токенов модели на одну задачу в рамках стандартных бенчмарков.
На тестах BBH, MATH и MMLU-Pro фреймворк MeshHeal достигает точности 0,839 в фазе деградации, расходуя всего 51 тыс. токенов модели на задачу. В ходе сравнительного тестирования сильнейший аналог, Symphony, демонстрирует точность лишь 0,807, поглощая при этом 115 тыс. токенов на задачу. Это не просто незначительное улучшение качества результатов; это прямой удар по неконтролируемым затратам на вычисления.
Управление незаметной деградацией результатов без централизованного контроля представляет собой главное инженерное препятствие при масштабировании сетей автономных агентов. Полученные результаты показывают, что многоуровневая экспертная оценка способна изолировать сбоящие узлы и поддерживать точность системы при одновременном снижении накладных расходов на токены по сравнению с существующими базовыми архитектурами, хотя более широкая оценка на различных сетевых топологиях остается открытым вопросом для будущих исследований распределенных агентов.