GMKtec EVO-X5 Pro: как достичь 75 токенов в секунду при запуске локальных нейросетей
Производительность компьютера при работе с искусственным интеллектом зависит не только от процессора и объема оперативной памяти. Не менее важную роль играет программное обеспечение, которое отвечает за запуск и выполнение языковой модели.
Компания GMKtec продемонстрировала это на примере EVO-X5 Pro. В собственных испытаниях производителя скорость генерации одной из моделей семейства Qwen3.8-Flash-Next увеличилась приблизительно с 23 до 75 токенов в секунду без изменения аппаратной платформы.
Разница оказалась более чем трехкратной. Как удалось добиться такого результата?
Что означает скорость генерации токенов
Большие языковые модели формируют ответы последовательно, генерируя отдельные токены. Токен может соответствовать слову, части слова или другому элементу текста.
Показатель tokens per second (tok/s) характеризует скорость генерации ответа после обработки входного запроса.
Чем выше этот показатель, тем быстрее пользователь получает текст при прочих равных условиях.
Например, при скорости 23 токена в секунду генерация 1000 токенов теоретически займет около 43 секунд. При 75 токенах в секунду на тот же объем потребуется примерно 13 секунд.
Это упрощенное сравнение, не учитывающее обработку исходного запроса, загрузку модели и другие задержки.
Одинаковое оборудование, разная производительность
В испытании GMKtec сравнивались два программных решения для выполнения AI-инференса.
Первым выступал llama.cpp, универсальный движок для запуска языковых моделей на различных аппаратных платформах.
Вторым стал Halogen, специализированный движок, оптимизированный для определенных моделей и графической архитектуры AMD Strix Halo.
Результаты, опубликованные производителем:
| Движок | Скорость генерации |
|---|---|
| llama.cpp | около 23 токенов/с |
| Halogen | около 75 токенов/с |
| Ускорение | примерно 3,26 раза |
Важно, что речь идет о конкретной модели и конфигурации тестирования. Эти результаты нельзя автоматически распространять на любые LLM или версии программного обеспечения.
Почему специализированный движок быстрее
Универсальные движки должны поддерживать большое количество процессоров, видеокарт и архитектур нейросетей.
Такой подход обеспечивает совместимость, но не всегда позволяет максимально эффективно использовать особенности конкретной платформы.
Halogen ориентирован на более узкую комбинацию оборудования и программных моделей.
В частности, производитель указывает оптимизацию под графическую архитектуру AMD gfx1151, используемую в Strix Halo, и определенное семейство моделей Qwen.
За счет специализированных вычислительных операций, организации работы с памятью и оптимизации исполнения можно сократить накладные расходы и эффективнее использовать доступные ресурсы GPU.
При этом физическая пропускная способность памяти остается прежней. Ускорение достигается программными средствами.
Какую роль играет AMD Ryzen AI Max+ PRO 495
GMKtec EVO-X5 Pro построен на процессоре AMD Ryzen AI Max+ PRO 495.
Платформа объединяет 16 процессорных ядер Zen 5, графическую подсистему Radeon 8065S и нейронный ускоритель AMD XDNA 2.
Для запуска больших языковых моделей особенно важны возможности встроенной графики и архитектура объединенной памяти.
В отличие от компьютера с отдельной видеокартой и фиксированным объемом видеопамяти, такая система использует общий пул памяти, доступный CPU и GPU.
В максимальной конфигурации EVO-X5 Pro предусмотрено до 192 ГБ LPDDR5X.
Это позволяет размещать в памяти крупные модели, которые не помещаются в видеопамять многих обычных потребительских видеокарт.
Однако большой объем памяти сам по себе не гарантирует высокую скорость генерации. На нее влияют пропускная способность памяти, особенности модели и эффективность вычислительного движка.
Что это дает пользователю
Разница между 23 и 75 токенами в секунду особенно заметна при интерактивной работе.
Локальный AI-ассистент быстрее отвечает на вопросы, генерирует программный код и обрабатывает последовательные запросы.
Для разработчика это означает более комфортную работу с инструментами программирования. Для аналитика - сокращение времени ожидания при обработке документов и подготовке текстовых отчетов.
В корпоративных системах ускорение может повысить производительность локальных AI-сервисов, хотя фактическое количество одновременно обслуживаемых пользователей необходимо оценивать отдельно.
Почему результаты могут отличаться
Скорость AI-инференса зависит от множества факторов: размера модели, формата квантования, длины контекста, версии движка и параметров генерации.
На производительность также влияют настройки энергопотребления, распределение памяти и количество одновременно выполняемых запросов.
Поэтому опубликованные GMKtec результаты следует рассматривать как демонстрацию возможностей конкретной оптимизированной конфигурации, а не гарантированную скорость для любого пользователя.
Заключение
Испытания GMKtec EVO-X5 Pro показывают, насколько существенно программная оптимизация способна изменить производительность локального искусственного интеллекта.
Переход от приблизительно 23 к 75 токенам в секунду на одинаковой аппаратной платформе демонстрирует, что при выборе AI-компьютера необходимо оценивать не только процессор, GPU и объем памяти, но и программную экосистему.
Для локальных нейросетей сочетание мощной вычислительной платформы и специализированного программного обеспечения может оказаться важнее отдельных характеристик оборудования.