Долгое время моделирование сложных молекулярных систем упиралось в вычислительный тупик, который в индустрии часто называют «квадратичным налогом» классических трансформеров. Согласно исследованию Шэн Гуна и Вэнь Яня из подразделения ByteDance Seed, опубликованному в журнале Nature Machine Intelligence, стандартные архитектуры, заложенные еще Ашишем Васвани в 2017 году, плохо поддаются масштабированию. В рамках этих структур затраты памяти и вычислительной мощности растут квадратично по мере увеличения числа атомов, что делает симуляцию реальных биосистем неподъемной для R&D-бюджетов. Ранее исследователям приходилось выбирать между точностью на микроуровне и «общим видением» всей системы. Обычно выбор падал на первое, что приводило к фрагментации данных и потере физического контекста, критически важного для разработки новых лекарств.
Гун и Янь предлагают технический маневр: замену тяжелого квадратичного механизма внимания на линейный с вычислительной сложностью O(N). На наш взгляд, это тот редкий случай, когда математическая эквилибристика напрямую конвертируется в экономию GPU-часов. Метод позволяет модели сохранять целостное восприятие системы без запредельных счетов за облачные вычисления. Как следует из отчета, новый механизм соблюдает физические симметрии — базовое требование для силовых полей — и избавляет от необходимости использовать «костыли» вроде фрагментации или грубых правок для учета дальнодействующих сил. Теперь нейросеть способна отслеживать, как изменения в удаленной части белка влияют на связывание в активном центре, не превращая задачу в масштабный проект по сжиганию электроэнергии.
Эта смена парадигмы меняет экономику фармацевтической разработки. Раньше индустрия полагалась на аппроксимации, которые могли давать сбой в пограничных случаях. Согласно исследованию, переход к единой глобальной модели вместо «лоскутного одеяла» из локальных фрагментов создает более устойчивый фундамент для молекулярной динамики. Тестирование на различных системах подтвердило: точность при фиксации эффектов дальнего действия остается высокой. Это не просто любопытный технический нюанс, а прямой фактор влияния на операционные расходы: время, которое раньше уходило на исправление ошибок в упрощенных моделях, теперь можно направить непосредственно на поиск новых соединений.
Внедрение линейного внимания O(N) знаменует конец эпохи, когда ученым приходилось жертвовать физической достоверностью ради вычислимости. Разумеется, на пути к прогрессу стоит консерватизм существующих процессов, привязанных к устаревшим фреймворкам. Однако конкурентное преимущество в материаловедении неизбежно перейдет к тем, кто начнет использовать глобально-ориентированные модели для симуляции редких событий фолдинга белков и сложных химических реакций. «Квадратичный налог» перестал быть обязательным условием ведения бизнеса, и те, кто продолжит цепляться за фрагментированное моделирование, рискуют безнадежно отстать как в скорости, так и в научной точности.