Multi-Token Prediction драфтеры для Gemma 4: как Google утроила скорость инференса
Google AI выпустила Multi-Token Prediction драфтеры для всего семейства Gemma 4. Инженеры компании утверждают, что инференс ускоряется до 3 раз, а качество вывода остается идентичным исходной модели. Разбираемся, как это работает и почему это важно для рынка.
Почему большие модели медленные
Чтобы понять суть, вернемся к основам. Современные языковые модели генерируют текст по одному токену за раз — строго друг за другом. Каждый шаг требует загрузки миллиардов параметров из памяти видеокарты в вычислительные блоки. Узкое место здесь — не мощность GPU, а скорость, с которой память может передать данные.
Представьте грузовик, который возит посылки по одному предмету за рейс. Мощность двигателя ни при чем — все упирается в то, как быстро грузчик таскает коробки из склада в кузов.
Именно эту проблему и решают MTP-драфтеры.
Спекулятивное декодирование на пальцах
Вместо одного гиганта, который мучительно думает над каждым токеном, архитектура работает в паре:
Маленький драфтер — легкая модель, которая за раз предлагает целую цепочку будущих токенов. Быстро, дешево, по черновикам.
Большой таргет — основная Gemma 4, которая верифицирует все предложенные токены параллельно за один проход.
Если крупная модель соглашается с черновиком — принимается сразу несколько токенов. Если нет — откатывается и пробует снова. Финальное слово всегда за таргетом, поэтому потери качества нет в принципе.
Это как если бы студент быстро написал черновик ответа, а преподаватель одним взглядом проверил — и поставил зачет, если все верно.
Что изменилось в Gemma 4
Команда Google не просто взяла готовую технику. Для Gemma 4 инженеры внесли несколько точечных улучшений:
KV-кэш: драфтер подсматривает кэш ключевых значений таргета, а не пересчитывает контекст заново — экономия на ровном месте.
Кластеризация в embedder-слое для младших моделей E2B и E4B — ускоряет финальный расчет логитов, что критично для маломощных устройств вроде смартфонов.
Gemma 4 26B MoE на Apple Silicon показывает примерно 2.2x прирост при батче 4–8. Один запрос — все еще узкое место, но с несколькими параллельными — драфтеры раскрываются.
Практически это значит, что разработчики, которые хотят поставить Gemma 4 в продакшен, получат ощутимый выигрыш без переобучения и без переписывания пайплайна.
Зачем это нужно рынку
Gemma 4 уже набрала свыше 60 миллионов загрузок. Это серьезная цифра — модель стала одной из самых популярных среди open-weight решений. Выпуск MTP-драфтеров — это закономерное укрепление экосистемы: больше загрузок — больше оптимизаций — еще больше загрузок.
Лицензия Apache 2.0 снимает барьер для коммерческого использования. Любой желающий может взять веса с Hugging Face или Kaggle и встроить ускорение в свой сервис.
Слабое место
При всем этом MTP не панацея. На Apple Silicon с batch size = 1 драфтеры для MoE-модели работают хуже, чем без них — проблема маршрутизации. Выигрыш появляется только при нескольких параллельных запросах. Это стоит учитывать, если вы разворачиваете модель не на облачном GPU, а на локальном железе.
Одно уточнение: если запускаете Gemma 4 26B MoE локально на Apple Silicon и обрабатываете по одному запросу — не ждите трехкратного прироста. Выигрыш придет при параллельной нагрузке.
Итого
Техника спекулятивного декодирования существовала и раньше, но Google сделала важное: упаковала это в готовое решение для Gemma 4, выложила бесплатно и показала конкретные цифры. Для разработчиков — это фактически бесплатное ускорение. Для экосистемы open-source ИИ — еще один аргумент, что оптимизация инференса становится нормой, а не роскошью.
