Сделать крупные AI-модели более доступными для домашних ПК

Более трех месяцев я тихо исследую методы, которые позволяют снизить нагрузку на оборудование и память, необходимую для запуска очень больших AI-моделей — особенно моделей типа mixture-of-experts, таких как GLM-5.2, на обычных домашних компьютерах.
Эта работа является частью моей магистерской диссертации по информатике, и первые результаты многообещающие.
Сейчас у меня есть рабочий прототип, и я планирую вскоре рассказать о нем подробнее.
Цель — не просто создать уменьшенную версию модели или утверждать, что сотни миллиардов параметров магическим образом поместятся в потребительский GPU.
Полная модель остается доступной, но система пытается загружать, удерживать и передавать только те компоненты, которые нужны на текущем этапе инференса.
Мое исследование затрагивает такие направления, как:
Динамическое закрепление экспертов
Прогнозирующее предварительное подкачивание экспертов
Иерархическая загрузка по VRAM, системной RAM и NVMe-хранилищу
Маршрутизация с учетом кэша
Сокращение ненужного перемещения параметров
Адаптация траектории выполнения под доступное железо
Недавно я увидел другой проект, который изучает похожее направление, и это вдохновило меня сделать свою работу публичной.
Однако я считаю, что некоторые текущие подходы могут недооценивать реальную нагрузку при инференсе.
Подсчет только параметров, выделенных активным экспертам, не отражает полную стоимость инференса. Общие слои, состояния внимания, KV-кэш, решения по маршрутизации, переходы между экспертами, пропускная способность памяти, page faults и синхронизация CPU-to-GPU — все это может стать серьезными узкими местами.
Система может выглядеть эффективной, если измерять только активные параметры, но при этом плохо работать во время реального сквозного инференса, потому что она снова и снова передает данные между хранилищем, RAM и VRAM.
Поэтому мой подход сфокусирован не только на выборе меньшего числа экспертов.
Он также учитывает, где должны находиться компоненты модели, когда их следует перемещать, что должно оставаться закэшированным и как можно прогнозировать предстоящие требования без загрузки ненужных частей модели.
Исследование все еще продолжается, и впереди еще много тестирования. Но уже сейчас результаты указывают на то, что существует практический путь к запуску гораздо более крупных моделей на потребительском железе с заметно меньшим пиковым давлением на память.
Прототип уже работает, хотя он пока экспериментальный и требует дальнейшей оптимизации, валидации и тестирования на разных конфигурациях оборудования.
Я планирую скоро поделиться прототипом или ранней публичной демонстрацией.
Эксперименты дают обнадеживающие результаты.
И я думаю, что инференс больших моделей на домашних компьютерах может стать существенно более эффективным, чем сегодня.
Скоро будет больше. #AI