Промышленная автоматизация мучительно пытается избавиться от «облачного поводка». Главные драйверы — задержки сети и риск потерять связь с производственной линией в критический момент. Как показывает исследование Диши Патель из Университета штата Калифорния, индустрия всерьез тестирует легковесные трансформеры вроде TinyBERT и DistilBERT в качестве альтернативы классике в лице XGBoost и Random Forest. Эксперименты на данных NASA C-MAPSS и SECOM подтверждают: диагностика на периферии возможна, но цена этой автономности — жесткая диета для алгоритмов.
Технический компромисс и «диета» для моделей
Технический компромисс выглядит как попытка втиснуть слона в хрущевку. По словам Патель, наиболее жизнеспособным вариантом оказался TinyBERT-4L: при весе в 55 МБ он выдает задержку в 18 мс на CPU. Чтобы это вообще имело смысл для реальных контроллеров, пришлось внедрять динамическое квантование INT8. Это позволило ужать модель на четверть, сохранив F1-score на уровне 86,9%.
Более того, была предложена архитектура с адаптивным конвейером: 97,9% простых кейсов щелкает сверхлегкая модель-фильтр, и лишь 2,1% сложных аномалий уходят на проверку «тяжелому» эксперту. Средняя задержка в таком режиме составила 19,5 мс.
Реальность против ожиданий
Однако при переходе от лабораторных тестов к суровой реальности завода наступает похмелье. На чистых сенсорных данных компактные трансформеры едва догнали старый добрый машинный лизинг, показав те же 87,8% F1-score. Проблема в том, что для этого результата трансформеру потребовалось в 100 раз больше памяти и в 9000 раз больше времени на вычисление, чем классическим алгоритмам.
Главные выводы исследования
В задачах предиктивного обслуживания данные часто несбалансированы, а ресурсы «железа» ограничены. Погоня за архитектурной модой (трансформерами) на текущем этапе выглядит сомнительно. Огромный вычислительный оверхед зачастую не дает никакого прироста в точности по сравнению с бережливыми классическими алгоритмами, которые рано списывать в утиль.