Российские исследователи из компании "Т-Технологии", МФТИ, Университета Иннополис и "Сбера" разработали новый метод дообучения языковых моделей SimplexLoRA. Об этом сообщили на Международной конференции по обработке естественного языка (EMNLP 2026), проходящей в Будапеште с 24 по 29 октября.
В чем суть SimplexLoRA
Традиционный подход LoRA (Low-Rank Adaptation) используется для дообучения языковых моделей без изменения основных весов — только посредством небольших адаптеров, встроенных в разные слои модели. Обычно всем слоям выделяется одинаковое число обучаемых параметров, хотя их вклад в решение задачи может различаться.
SimplexLoRA меняет этот подход: на предварительном этапе метод определяет, какие слои наиболее важны для конкретной задачи, и перераспределяет между ними общий объем обучаемых параметров. Более значимым слоям выделяется больше ресурсов, менее значимым — меньше. После этого распределение фиксируется, и дообучение продолжается по стандартной схеме LoRA.
В результате качество дообучения повышается без увеличения числа обучаемых параметров и вычислительных затрат.
Эксперименты и результаты
Метод SimplexLoRA был протестирован на 12 различных задачах с использованием четырех языковых моделей. Среди задач — понимание текстов, подготовка кратких изложений, ответы на вопросы, рассуждение и анализ эмоциональной окраски текстов.
В большинстве тестов новый метод показывал качество не хуже стандартного LoRA, а иногда и превосходил его при том же объеме обучаемых параметров. Особенно заметное преимущество SimplexLoRA проявилось при ограниченном количестве параметров — в таких условиях метод позволял более эффективно распределять ресурсы между слоями и достигать лучших результатов.
Применение в образовательных и бизнес-задачах
По мнению разработчиков, SimplexLoRA будет полезен командам, которые адаптируют готовые языковые модели под свои задачи — например, для автоматизации ответов на вопросы, выделения ключевых моментов в документах, анализа текстов или математических рассуждений. Особенно актуален этот подход для тех, кто работает с ограниченными вычислительными ресурсами.
Руководитель Центра исследований и разработок "Т-Технологий" Станислав Моисеев отметил, что SimplexLoRA позволяет заранее определить, где дополнительные параметры принесут наибольшую пользу, и тем самым повысить качество адаптации модели, сохраняя привычную основу LoRA.
Что это значит для преподавателей
Для специалистов EdTech, преподавателей и разработчиков образовательных сервисов новый метод открывает возможность эффективнее адаптировать языковые модели под конкретные задачи — например, автоматическую проверку работ, генерацию учебных материалов или интеллектуальные помощники. Это особенно важно для команд с ограниченными вычислительными ресурсами: SimplexLoRA позволяет повысить качество работы ИИ без дополнительных затрат.