Локальный LLM-сервер на AMD Strix Halo: Qwen3.8-Flash-Next в Fedora 43 через HALOGEN
Раньше запуск крупной языковой модели на домашнем или рабочем компьютере обычно требовал отдельной видеокарты с большим объёмом VRAM. AMD Strix Halo меняет привычный сценарий: платформа с 128 ГБ общей памяти позволяет запускать тяжёлые MoE-модели без дискретного ускорителя - при условии, что программная часть умеет работать с архитектурой унифицированной памяти.
В этой статье рассмотрим, как развернуть Qwen3.8-Flash-Next на Fedora 43 Server с помощью HALOGEN. В результате получится локальный LLM-сервер с OpenAI-совместимым API, авторизацией по ключу и поддержкой нескольких параллельных сессий. Практические особенности конфигурации и работы модели на Strix Halo также описаны в материале о [запуске Qwen на AMD с HALOGEN](https://habr.com/ru/articles/1098996/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1098996).
Чем примечательна Qwen3.8-Flash-Next
Модель построена по архитектуре MoE - смеси экспертов. Её общий размер составляет около 125 млрд параметров, но при обработке каждого токена задействуется примерно 6 млрд. Благодаря этому вычислительная нагрузка ниже, чем у плотной модели сопоставимого полного размера.
В состав входят 48 слоёв, 512 маршрутизируемых экспертов и один общий. Для каждого токена выбираются десять маршрутизируемых экспертов. Кроме того, модель использует гибридное внимание, крупную таблицу N-gram embeddings объёмом около 51 млрд параметров и MTP-head примерно на 4 млрд параметров. Стандартная длина контекста - 262 144 токена, а с расширением её можно довести до миллиона. Модель ориентирована прежде всего на текст, но поддерживает и работу с изображениями при наличии дополнительного компонента.
Почему HALOGEN подходит для Strix Halo
В Strix Halo центральный процессор и встроенная графика используют одну LPDDR5X-память. Отдельной видеопамяти, как у дискретных карт, здесь нет, поэтому важно, чтобы движок не пытался целиком перенести веса в выделенный GPU-буфер.
HALOGEN разработан с учётом этих особенностей: он ориентирован на GPU gfx1151, использует собственный формат весов `.hgn`, обращается к таблице N-gram через memory mapping и ускоряет генерацию посредством speculative decoding с MTP. Также в комплекте предусмотрен HTTP API, совместимый с OpenAI. Это не универсальная альтернатива llama.cpp или vLLM: сильная сторона HALOGEN - узкая специализация. Именно поэтому связка AMD Strix Halo для локальных LLM интересна прежде всего тем, кому нужна производительность на этой конкретной платформе.
Перед настройкой стоит проверить BIOS. Для параметра UMA Frame Buffer рекомендуется выбрать минимальное фиксированное значение, а не Auto: большой заранее зарезервированный участок памяти для встроенной графики уменьшает объём RAM, доступный системе и движку.
Сколько места потребуется
Основной checkpoint Qwen3.8-Flash-Next занимает около 62,1 GiB, а файл N-gram lookup table - ещё 47,7 GiB. Токенизатор сравнительно небольшой, поэтому текстовый комплект весит примерно 110 GiB. Для поддержки изображений можно дополнительно скачать vision-файл размером около 0,84 GiB; MTP-компонент занимает примерно 1,42 GiB.
HALOGEN способен загрузить необходимые файлы при первом запуске, но на диске лучше заранее освободить не менее 120-140 ГБ. Запас пригодится для служебных данных и последующих обновлений. Это важный пункт при планировании: запуск нейросети локально на компьютере упирается не только в память и вычислительные ресурсы, но и в место для весов.
Ожидаемая производительность
По опубликованным результатам, обычная генерация на Strix Halo достигает примерно 54 токенов в секунду. В благоприятных условиях speculative decoding показатель может вырасти до 94 токенов в секунду. Для редактирования кода приводится ориентир до 81 токена в секунду, а при генерации tool calls - около 71.
Обработка входного контекста также остаётся быстрой: для промпта на 8 тысяч токенов заявлено около 1821 токена в секунду, для 32 тысяч - примерно 1740, а для 131 тысячи - около 1675. Новый документ объёмом 32K токенов, таким образом, может обрабатываться порядка 19 секунд. Ответ длиной тысяча токенов при скорости 54 токена в секунду займёт около 18-19 секунд. Фактические значения зависят от длины истории, настроек генерации и фоновой нагрузки.
При четырёх параллельных сессиях вычисления распределяются между запросами. В качестве ориентира указываются около 76 токенов в секунду суммарно и 11-19 токенов в секунду на отдельный поток. Такой режим полезен для сервера, к которому обращаются несколько клиентов, хотя одиночный запрос в этом случае может выполняться медленнее.
Настройка сервера и безопасный доступ
Для развёртывания на Fedora 43 потребуется подготовить систему, создать API-ключ и запустить HALOGEN с четырьмя слотами для одновременной работы. Сервис предоставляет OpenAI-совместимый HTTP-интерфейс, поэтому его можно подключать к клиентам и приложениям, которые уже умеют работать с таким форматом API. Подробности конфигурации и запуска приведены в разборе [локального сервера Qwen на Fedora](https://habr.com/ru/articles/1098996/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1098996).
При этом не следует открывать HTTP API напрямую в интернет без TLS. Если доступ к модели нужен за пределами локальной сети, безопаснее организовать его через защищённый прокси или VPN, ограничить круг клиентов и хранить ключ доступа так, чтобы он не попадал в публичные конфигурационные файлы. Сам факт локального размещения модели не защищает API от несанкционированных запросов.
Отдельного внимания заслуживает отображение памяти в системных утилитах. Например, nvtop может показывать около 27 ГБ "видеопамяти", хотя у Strix Halo используется общая память. Это не означает, что модель целиком помещается в отдельный видеобуфер: HALOGEN обращается к памяти хоста, а устройство и драйверы могут по-разному представлять её использование.
Если требуется контекст больше нативных 262 144 токенов, его можно расширить до миллиона с помощью YaRN. Однако максимальная длина сама по себе не гарантирует одинаковую скорость на любом запросе: обработка большого контекста предъявляет дополнительные требования к памяти и времени prefill. Для повседневных задач имеет смысл выбирать размер окна под конкретную нагрузку, а не выставлять максимум без необходимости.
В итоге локальный LLM-сервер на Fedora и Strix Halo может обслуживать крупную MoE-модель без отдельной видеокарты с десятками гигабайт VRAM. HALOGEN использует преимущества общей памяти и предлагает API для интеграции с клиентскими приложениями, но требует учесть объём диска, настройки BIOS, особенности параллельной генерации и безопасность сетевого доступа. А тем, кто ищет, как запустить Qwen локально, стоит начать с проверки совместимости оборудования и свободного места: именно они определят, насколько просто пройдёт дальнейшая настройка.