Локальная LLM: Qwen3.8-Flash-Next на движке Strata + Goose Desktop (Windows)

Инструкция описывает, как развернуть на домашнем ПК с Windows локальную модель Qwen3.8-Flash-Next на движке Strata (OpenAI-совместимый API) и подключить её к AI-агенту Goose Desktop, а затем настроить русский язык и MCP-расширения для кодинга (Developer, Playwright).

Всё описанное ниже было выполнено и проверено на реальной машине. Ошибки, на которые пришлось наткнуться, вынесены в раздел «Проблемы и решения».

Развёртывание на отдельном сервере с доступом по сети описано на странице Strata + Qwen на сервере и подключение клиентов по IP.

• Видеокарта NVIDIA RTX 20/30/40/50 (или AMD) и актуальный драйвер.
• Оперативная память: для IQ3_S — 64 GB (модель занимает ~50 GB RAM + почти всю VRAM). Для ПК поменьше см. «Шаг 2: Выбор типа квантования».
• Свободное место на диске: ~85 GB под модель + ~1 GB под движок и drafter.
• Установленный Goose Desktop.
• Node.js (node, npx в PATH) — только для Playwright MCP.
• Свободный TCP-порт. Порт 8080 (по умолчанию у Strata) часто занят (у нас его держал Docker-контейнер Jira в WSL), поэтому в инструкции используется 8081.

Официальная команда установки:

irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex

Рекомендуется сначала скачать скрипт и прочитать его, а потом запустить локальную копию:

Invoke-WebRequest -UseBasicParsing https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 -OutFile install.ps1
notepad install.ps1
.\install.ps1

Что делает установщик:

1. скачивает архив Strata Terminal (~70 MB) и сверяет его SHA-256;
2. распаковывает в %LOCALAPPDATA%\Strata\terminal\<версия> (права администратора не нужны);
3. проверяет подпись релиза;
4. добавляет %LOCALAPPDATA%\Strata\terminal\current\bin в пользовательский PATH.

Ожидаемый вывод:

Strata Terminal installer
  This computer: Windows AMD64 (windows-x86_64), graphics: NVIDIA GeForce RTX 4080
  Terminal 0.1.59 (70 MB)
  Checksum ok.
  Signature ok.
Installed. Run: strata launch

После установки откройте новое окно терминала, иначе команда strata не будет найдена. Если не находится — используйте полный путь:

& "$env:LOCALAPPDATA\Strata\terminal\current\bin\strata.cmd" --version

Strata сама скачивает модель нужного размера из своего каталога. Размер задаётся ключом –model, семейство — –family. Чем меньше бит на вес, тем меньше нужно памяти и тем быстрее модель, но ниже качество ответов.

• –family qwen (по умолчанию) — официальные кванты Qwen3.8-Flash-Next: q2_0, iq2_xs, iq3_xxs, iq3_s, iq1_m.
• –family unsloth — кванты Unsloth той же модели: от ud-iq1_m до q8_0.
• –family swift — дообученная Swift 1.5 (на базе Qwen3.8-Flash-Next), те же размеры.
• –family coder — вариант для кода.
• –family gyro (Gyro-S, Gyro-M) и –family nvfp4 (NVFP4, NVFP4-NVIDIA, NVFP4-QAD) — альтернативные сжатые версии.
• –family qwen36 — Qwen3.6-35B-A3B: модель поменьше, умеет картинки и несколько запросов одновременно.
• –family deepseek41 — DeepSeek-V4.1-Flash: 1.75 / 2.00 / 2.25 bpw = 239 / 257 / 274 GB, UD-Q8_K_XL = 508 GB.

Чем меньше бит на вес — тем меньше памяти и быстрее генерация, но ниже качество. Чем больше квант — тем больше байт нужно прочитать из RAM на каждый токен, поэтому на одном и том же ПК крупный квант генерирует медленнее.

Конфигурация: RTX 4080 16 GB VRAM + 64 GB RAM DDR4-3600 (2×32 GB) = 80 GB RAM+VRAM, i9-9900KF, PCIe 3.0, плата ASUS TUF Z390-PLUS GAMING (WI-FI).

Оценку даёт сама Strata командой, которая только проверяет ПК и ничего не устанавливает:

strata install -- --check --family unsloth

Столбец «Нужно RAM+VRAM» — оценка Strata; «Скачать» — по strata launch –plan. fits — Strata считает, что помещается; медленнее — Strata предупреждает «may run slower» (часть модели будет читаться с диска).

«—» в столбце «Скачать» — размер не замерялся; его покажет strata launch –family … –model … –plan.

Итог для текущего ПК: всё, что помечено fits, плюс уже работающий iq3_s. Если нужна скорость — q2_0 или ud-q2_k_xl; если качество — iq3_s (текущий) или ud-iq4_xs.

Если добавить 64 GB RAM (станет 128 GB + 16 GB VRAM = 144 GB):

• unsloth / q8_0 — да, по оценке Strata (~134 GB) помещается, но впритык и генерирует заметно медленнее iq3_s: на каждый токен из RAM читается больше данных. Разумный выбор после апгрейда по балансу качество/скорость — ud-q4_k_xl или ud-q5_k_xl.
• deepseek41 / IST-DAS-1.75…2.25bpw — нет. Модель весит 239–274 GB, это больше, чем RAM+VRAM; большая часть читалась бы с диска — слишком медленно для работы. Нужно 256+ GB RAM (новая платформа, см. ниже).

Как пользоваться командами из таблицы:

1. Сначала посмотреть план без изменений — добавить к команде –plan.
2. Остановить текущую модель (strata launch –stop –preset «Goose IQ3_S official 8081» или «Остановить» в Strata Tray) — либо добавить к команде –restart.
3. Выполнить команду: первая установка скачивает модель, затем сохраняется пресет «<модель> 8081», дальше запуск — strata launch –preset «<модель> 8081» –no-tui.
4. В Goose поменять имя модели у провайдера на то, что вернёт /v1/models; в Strata Tray — Preset в settings.json.

Сменить модель — новый пресет, старый остаётся:

strata launch --family unsloth --model ud-iq4_xs --context 128k --vision off --access local --port 8081 --no-tui --plan
strata launch --family unsloth --model ud-iq4_xs --context 128k --vision off --access local --port 8081 --no-tui --yes --save-preset "Goose UD-IQ4_XS 8081"

Если меняете пресет, поменяйте и имя модели в провайдере Goose (точное имя — из /v1/models) и пресет в settings.json трей-программы (см. Strata Tray).

Граница «fits» у Strata — примерно (RAM + VRAM) минус 3 GB. Ниже — оценка по той же формуле, на реальном железе не проверялась.

Что реально ускорит работу: генерация упирается в пропускную способность RAM (DDR4 двухканал) и PCIe 3.0. Апгрейд RAM до 128 GB открывает более качественные кванты, но не делает модель быстрее; ускоряют — больше VRAM и/или новая платформа с DDR5.

Перед запуском полезно выполнить –plan — он покажет, что будет скачано, и ничего не изменит:

strata launch --model iq3_s --context 128k --vision off --access local --port 8081 --no-tui --plan

Plan for 'IQ3_S 128K':
  model     Qwen3.8-Flash-Next IQ3_S, 84 GB
  context   128K    pictures off    parallel fit to your card
  download  About 84.8 GB to download: the model (83.6 GB) and the DFlash2 drafter (1.2 GB).
  drafting  DFlash2 (its drafter is downloaded first)
  tuning    skip    access This computer only, port 8081
Nothing was changed.

Примеры для других квантов:

strata launch --model q2_0    --context 128k --vision off --access local --port 8081 --no-tui --plan
strata launch --model iq3_xxs --context 128k --vision off --access local --port 8081 --no-tui --plan
strata launch --family unsloth --model ud-q4_k_xl --context 128k --vision off --access local --port 8081 --no-tui --plan

Важно про свои GGUF-файлы. Strata умеет брать уже скачанные файлы (–model-path ПАПКА), но не любые. Сторонняя сборка RVN-Qwen3.8-Flash-Next-IQ3_S не запустилась (см. раздел «Проблемы и решения»). Надёжнее давать Strata скачать модель самой.

strata launch --model iq3_s --context 128k --vision off --tune skip --access local --port 8081 --no-tui --yes --save-preset "Goose IQ3_S official 8081"

Ключи:

• –model iq3_s — размер модели (см. таблицы выше).
• –context 128k — длина контекста (32k / 64k / 128k / 256k).
• –vision off — без распознавания картинок (Goose они не нужны, экономит память и 0.9 GB скачивания).
• –access local — доступ только с этого компьютера (без API-ключа).
• –port 8081 — порт API.
• –no-tui — без интерактивных экранов: запустить, вывести адрес и вернуть управление.
• –yes — не задавать вопросов (согласие на скачивание).
• –save-preset — сохранить все настройки под именем, чтобы потом запускать одной командой.

Первый запуск: скачивается движок под вашу видеокарту (~631 MB), модель (~84 GB), drafter DFlash2 (1.2 GB), затем один раз модель подготавливается для движка. Это долго (зависит от скорости интернета). В конце:

    The model is loaded and answering.
    Ready: http://127.0.0.1:8081
Strata is serving.
  This computer  http://127.0.0.1:8081/v1
  Anthropic apps http://127.0.0.1:8081   (Claude Code: ANTHROPIC_BASE_URL, no /v1 at the end)
[!] DFlash2 answers one request at a time, so Strata set this model to one request at a time.
  Stop:  strata launch --stop --preset "Goose IQ3_S official 8081"

Удобнее — через значок в трее: программа Strata Tray показывает статус Strata и запускает/останавливает её по правому клику, стартует вместе с Windows. Ниже — то же самое командами.

Запуск (загрузка модели ~1 минута):

strata launch --preset "Goose IQ3_S official 8081" --no-tui

Без –no-tui откроется экран мониторинга.

Проверка, что сервер отвечает:

curl.exe http://127.0.0.1:8081/v1/models

Должна вернуться модель «id»: «qwen3.8-flash-next-iq3_s» со статусом «loaded».

Остановка (освобождает ~15.7 GB VRAM и ~50 GB RAM):

strata launch --stop --preset "Goose IQ3_S official 8081"

Полезные команды:

strata launch --status                          # что сейчас запущено
strata launch --list-presets                    # сохранённые пресеты
strata monitor --url http://127.0.0.1:8081      # монитор: скорость, VRAM, очередь запросов
strata logs    --url http://127.0.0.1:8081      # журнал запросов
strata doctor                                   # проверка компонентов (только чтение)
strata update                                   # обновить движок (переключается после пробного старта)

Лог движка: %LOCALAPPDATA%\Strata\launch\<имя-пресета>.engine.log.

'{"model":"qwen3.8-flash-next-iq3_s","messages":[{"role":"user","content":"Привет, ответь одним словом"}],"max_tokens":200}' | Out-File -Encoding utf8 req.json
curl.exe -s -H "Content-Type: application/json" --data-binary "@req.json" http://127.0.0.1:8081/v1/chat/completions

Ответ содержит content (сам ответ), reasoning_content (рассуждения модели) и timings со скоростью. Streaming («stream»: true) поддерживается.

Settings → Models → Add Custom Provider:

Сохранить и выбрать этого провайдера в чате.

Закройте Goose Desktop и создайте файл %APPDATA%\Block\goose\config\custom_providers\custom_strata_qwen.json:

{
  "name": "custom_strata_qwen",
  "engine": "openai",
  "display_name": "Strata Qwen",
  "description": "Local Strata engine: Qwen3.8-Flash-Next IQ3_S on 127.0.0.1:8081",
  "api_key_env": "CUSTOM_STRATA_QWEN_API_KEY",
  "base_url": "http://127.0.0.1:8081/v1/chat/completions",
  "models": [
    { "name": "qwen3.8-flash-next-iq3_s", "context_limit": 131072 }
  ],
  "headers": null,
  "timeout_seconds": 600,
  "supports_streaming": true,
  "requires_auth": false
}

Чтобы сделать его провайдером по умолчанию, в %APPDATA%\Block\goose\config\config.yaml (сначала сделайте резервную копию) замените строку active_provider: … на:

active_provider: custom_strata_qwen
GOOSE_PROVIDER: custom_strata_qwen
GOOSE_MODEL: qwen3.8-flash-next-iq3_s

Из терминала (CLI goose.exe лежит внутри Desktop-приложения):

& "<папка Goose>\resources\bin\goose.exe" run --no-session -t "Привет, ответь одним словом"

    __( O)>  ● new session · custom_strata_qwen qwen3.8-flash-next-iq3_s
Привет

Убедиться, что запрос ушёл именно в локальную модель, а не в облако: strata logs –url http://127.0.0.1:8081 — в журнале появятся записи queued → admitted → first_token → finished в момент запроса из Goose.

Порядок запуска: сначала Strata, потом Goose. Если Strata не запущена, Goose пишет Could not connect to 127.0.0.1:8081.

Модель хорошо отвечает по-русски и технически корректно — переводчик-прокси не нужен. Чтобы Goose всегда отвечал по-русски, положите в корень проекта файл .goosehints:

Всегда отвечай на русском языке. Код, команды, имена файлов, идентификаторы и технические термины оставляй без перевода.
Комментарии в коде пиши на русском, если пользователь не попросил иначе.
Рабочая ОС — Windows 11, оболочка PowerShell 5.1: используй её синтаксис для shell-команд (без &&, пути через \).

.goosehints действует только для сессий, открытых в этой папке. Для всех проектов сразу — положите такой же файл в %APPDATA%\Block\goose\config\.goosehints.

Работа с файлами и shell. Включено по умолчанию; проверить в config.yaml:

  developer:
    enabled: true
    type: platform

Добавьте в секцию extensions: файла config.yaml:

  playwright:
    enabled: true
    type: stdio
    name: playwright
    description: Browser automation for UI checks (Playwright MCP, Microsoft Edge)
    display_name: Playwright
    cmd: C:\Program Files\nodejs\npx.cmd
    args:
    - -y
    - '@playwright/mcp@0.0.85'
    - --browser
    - msedge
    envs: {}
    env_keys: []
    timeout: 300
    bundled: null

• В cmd обязательно полный путь к системному npx.cmd, а не просто npx — см. раздел «Проблемы и решения».
• –browser msedge — использует уже установленный Microsoft Edge, Chromium скачивать не нужно.
• Проверить пакет вручную: npx -y @playwright/mcp@0.0.85 –help.

После правки config.yaml полностью перезапустите Goose Desktop (включая значок в трее).

Проверка: задача Через расширение playwright открой https://example.com и скажи заголовок страницы → Goose вызывает browser_navigate и отвечает «Example Domain».

Нужен ваш вход в GitHub:

• удалённый MCP-сервер https://api.githubcopilot.com/mcp/ (Extensions → Add, вход через браузер), или
• Personal Access Token.

В Goose (рабочая папка — ваш проект) дайте задачу:

Создай файл hello.py, который выводит текущее время, и запусти его

Ожидаемо: Goose отвечает по-русски, вызывает write (создаёт hello.py) и shell (python hello.py), выводит время. В strata logs видны запросы.

Данные Strata находятся в папке данных. По умолчанию это %LOCALAPPDATA%\Strata\Strata-data. Путь к ней записан в %APPDATA%\Strata\settings.json (ключ data_dir).

Новые модели скачиваются в ту же папку данных. Каждый квант получает свою папку в models и packs. Например, после –model ud-iq4_xs добавится около 94 GB.

Посмотреть, что установлено:

strata models list --installed

iq3_s  present  qwen3.8-flash-next-iq3_s

Strata подгружает экспертов модели с диска, если они не помещаются в RAM+VRAM. Поэтому скорость диска напрямую влияет на скорость ответов: чем больше модель превышает 80 GB, тем сильнее.

Примечание: копия RVN IQ3_S в F:\projects\inst\qwen-iq3s (83 GB) лежит на HDD, и Strata её не использует. Её стоит оставить только для переноса на сервер (см. llama.cpp: MoE с NVMe + RAM на TrueNAS), а потом удалить.

У Strata есть встроенный перенос, поэтому вручную копировать и делать junction не нужно. Файлы переносятся по одному: каждый копируется, сверяется по SHA-256 и только после этого удаляется со старого места. Если прервать перенос, ничего не потеряется. Перенос на тот же диск выполняется мгновенным переименованием, на другой диск — копированием.

Важно: перед переносом остановите сервер: в трее «Остановить» или strata launch –stop –preset «…».

Способ 1 (рекомендуется): strata launch –data-dir … –move-data. Модели переносятся, новая папка запоминается в settings.json (туда же пойдут следующие загрузки), сервер запускается.

strata launch --stop --preset "Goose IQ3_S official 8081"
 
# сначала план: сколько GB и хватит ли места (ничего не меняет)
strata models move D:\StrataModels --plan
 
# перенос + запуск
strata launch --preset "Goose IQ3_S official 8081" --data-dir D:\StrataModels --move-data --no-tui --yes

Вывод плана на этом ПК:

1 model(s), 85.2 GB; 2109.3 GB free in D:\StrataModels.

Без –move-data старые модели останутся на месте и будут работать, а в новую папку пойдут только новые загрузки. –yes сам по себе модели не переносит.

Способ 2: strata models move. Переносит файлы (models, packs, mtp) и исправляет пути в конфигурациях запуска, но сервер не запускает.

strata models move D:\StrataModels --plan     # план
strata models move D:\StrataModels            # перенос (прогресс: "12.3 of 85.2 GB  <файл>")

(проверить) По исходному коду Strata 0.1.59 эта команда не меняет data_dir в settings.json. Поэтому новые загрузки могут продолжать идти в старую папку. Чтобы закрепить новую папку, один раз запустите модель с –data-dir D:\StrataModels или используйте способ 1.

Если перенос прервался (выключили ПК, закончилось место):

strata models move --status    # был ли незаконченный перенос
strata models move --resume    # докончить
strata models move --leave     # отказаться: модели остаются в старой папке, частичные копии удаляются

После переноса проверьте:

Get-Content $env:APPDATA\Strata\settings.json      # data_dir = новая папка
strata models list --installed                     # модель present
curl.exe http://127.0.0.1:8081/v1/models           # сервер отвечает

Примечание: папка dflash2 в перенос не входит и остаётся в старом месте (0.8 GB) (проверить). Это не мешает работе.

Отдельной команды для удаления модели в Strata 0.1.59 нет. Удалять нужно вручную при остановленном сервере:

strata launch --stop --preset "Goose IQ3_S official 8081"
$d = (Get-Content $env:APPDATA\Strata\settings.json | ConvertFrom-Json).data_dir
Get-ChildItem "$d\models", "$d\packs"                      # посмотреть, что есть
Remove-Item -Recurse "$d\models\UD-IQ4_XS", "$d\packs\ud-iq4_xs"   # пример: имена папок берите из списка выше
strata launch --delete-preset "ud-iq4_xs 8081"             # если для неё сохранён пресет

Модель, которая используется в рабочем пресете (сейчас IQ3_S), не удаляйте.

Симптом: curl http://127.0.0.1:8080/v1/models → Empty reply from server (curl exit 52).

Проверка, кто держит порт:

Get-NetTCPConnection -LocalPort 8080 -State Listen | Select-Object OwningProcess
Get-CimInstance Win32_Process -Filter "ProcessId=<PID>" | Select-Object Name,ExecutablePath

Если это wslrelay.exe — порт пробрасывается из WSL (у нас — Docker-контейнер Jira). Решение: запускать Strata на другом порту (–port 8081).

Симптом при –model-path со сборкой RVN-Qwen3.8-Flash-Next-IQ3_S:

output_hc_down.weight is IQ3_S, but the engine requires BF16; use --compat-bf16
blk.0.ssm_alpha.weight is IQ3_S, but the engine requires BF16; use --compat-bf16
... and 356 more
  [X]  command failed (exit 1): python.exe

Причина: в этой сборке в 3 бита сжаты и служебные тензоры (hc_*, ssm_alpha/beta), а движку Strata они нужны в BF16. Кроме того, Strata по размеру ошибочно определяла эти файлы как UD-IQ4_XS (хотя в заголовке GGUF general.file_type = 26 = IQ3_S) — помогло явное –model iq3_s.

Решение: скачать официальную сборку Strata (strata launch –model iq3_s без –model-path). Альтернатива — перепаковка с –compat-bf16, но качество уже испорченных тензоров не вернётся.

Симптом в логе Goose (%APPDATA%\Block\goose\data\logs\cli\…):

Failed to load extension playwright: process quit before initialization:
[Goose] Node.js not found. Downloading portable Node.js v22.14.0...
... Error: EPIPE: broken pipe, write

Причина: если в cmd указано просто npx, Goose подменяет его своей обёрткой (<папка Goose>\resources\bin\npx.cmd), которая не видит системный Node.js и пытается скачать портативный; скачивание не успевает до таймаута.

Решение: cmd: C:\Program Files\nodejs\npx.cmd (полный путь).

Goose работает в рабочей папке сессии (выбирается внизу окна чата или Ctrl+O). Если в тексте задачи указан другой путь («разверни в F:\…»), Goose будет использовать его до конца сессии. Для нового проекта — новый чат (Ctrl+T) в нужной папке, без других путей в задаче.

# запуск / остановка
strata launch --preset "Goose IQ3_S official 8081" --no-tui
strata launch --stop --preset "Goose IQ3_S official 8081"
 
# проверка
curl.exe http://127.0.0.1:8081/v1/models
strata monitor --url http://127.0.0.1:8081
strata logs --url http://127.0.0.1:8081
 
# модели: список и перенос на другой диск (сервер остановлен)
strata models list --installed
strata models move D:\StrataModels --plan
strata launch --preset "Goose IQ3_S official 8081" --data-dir D:\StrataModels --move-data --no-tui --yes