Авторегрессионные большие языковые модели решают многошаговые логические задачи с помощью последовательной выборки токенов. Этот подход неизбежно приводит к накоплению ошибок и подменяет строгую логическую необходимость вероятностными догадками. По мере углубления цепочки рассуждений стохастический шум накапливается линейно, а принудительная пошаговая генерация создает узкое горлышко, выстраивая изначально графовые структуры в линейный текст. Чтобы устранить эти фундаментальные изъяны, исследователь Вэйцай Хуан из пекинской компании MQPat Technologies представил архитектуру детерминированных рассуждений на базе операторов в латентном пространстве (DODR).
Замена генерации токенов латентными операторами
Фреймворк DODR переосмысляет логический вывод как явное вычисление графов в многомерном пространстве линейной алгебры. Вместо генерации текста токен за токеном система представляет состояния рассуждения в виде сверхшироких векторов-снимков, где каждый вектор кодирует отдельную смысловую единицу — от фразы до полноценной посылки. Каждый логический переход выполняется как детерминированное матричное умножение без использования стохастической выборки токенов на всех этапах пайплайна.
«каждый шаг рассуждения представляет собой детерминированную матричную операцию S_{t+1} = W_{step} · S_t без какой-либо выборки токенов на всем протяжении процесса.»
Чтобы формализовать логические процессы, архитектура преобразует три классических режима умозаключений Чарльза Сандерса Пирса в отдельные обучаемые матричные операторы: дедукцию, индукцию и абдукцию. Оператор дедукции имеет намеренно неполный ранг для сжатия избыточных данных посылок в строгие выводы, оператор индукции сохраняет полный ранг для обобщения правил на основе наблюдений, а абдукция задействует псевдообратную матрицу Мура — Пенроуза для формирования объяснительных гипотез.
Экспериментальная проверка логических способностей
В ходе тестирования на четырех специализированных бенчмарках архитектура полностью исключила стохастический дрейф, характерный для авторегрессионных декодеров. Поскольку каждый переход между латентными состояниями опирается на строгие линейные операторы, а не на распределение вероятностей по словарю, модель продемонстрировала полное отсутствие галлюцинаций на формальных логических цепочках без раздувания контекстного окна.
Для корпоративных систем, требующих верифицируемого выполнения сложных процессов, переход от вероятностной авторегрессии к детерминированным операторам предлагает математически строгое решение вместо бесконечного подбора промптов. Тем не менее до внедрения в прод предстоит решить серьезные инженерные задачи: научиться переводить неструктурированный естественный язык в жесткие векторные структуры без потери контекста и масштабировать фиксированные матрицы для работы с неоднозначностью открытого мира.