Различия

Здесь показаны различия между двумя версиями данной страницы.

--- truenas:application:strata_qwen_goose [2026/11/12 17:24]
werwolf Qwen3.8-Flash-Next на Strata: установка, кванты, Goose, сервер и клиенты по IP
+++ truenas:application:strata_qwen_goose [2026/11/12 21:12] (текущий)
werwolf Хранение моделей Strata: где лежат, выбор диска, перенос (--data-dir --move-data, models move), удаление
@@ Строка 74: / Строка 74: @@
 Strata сама скачивает модель нужного размера из своего каталога. Размер задаётся ключом ''--model'', семейство — ''--family''. Чем меньше бит на вес, тем меньше нужно памяти и тем быстрее модель, но ниже качество ответов.
-==== Официальные кванты Qwen3.8-Flash-Next (--family qwen, по умолчанию) ====
+==== Что умеет Strata: семейства и кванты ====
-Цифры RAM — оценка установщика Strata для ПК с 16 GB VRAM.
+  * ''--family qwen'' (по умолчанию) — официальные кванты Qwen3.8-Flash-Next: ''q2_0'', ''iq2_xs'', ''iq3_xxs'', ''iq3_s'', ''iq1_m''.
+  * ''--family unsloth'' — кванты Unsloth той же модели: от ''ud-iq1_m'' до ''q8_0''.
+  * ''--family swift'' — дообученная Swift 1.5 (на базе Qwen3.8-Flash-Next), те же размеры.
+  * ''--family coder'' — вариант для кода.
+  * ''--family gyro'' (''Gyro-S'', ''Gyro-M'') и ''--family nvfp4'' (''NVFP4'', ''NVFP4-NVIDIA'', ''NVFP4-QAD'') — альтернативные сжатые версии.
+  * ''--family qwen36'' — Qwen3.6-35B-A3B: модель поменьше, умеет картинки и несколько запросов одновременно.
+  * ''--family deepseek41'' — DeepSeek-V4.1-Flash: 1.75 / 2.00 / 2.25 bpw = 239 / 257 / 274 GB, ''UD-Q8_K_XL'' = 508 GB.
-^ ''--model'' ^ Тип ^ Скачивание ^ RAM (примерно) ^ Комментарий ^
+Чем меньше бит на вес — тем меньше памяти и быстрее генерация, но ниже качество. Чем больше квант — тем больше байт нужно прочитать из RAM на каждый токен, поэтому на одном и том же ПК крупный квант генерирует **медленнее**.
-| ''q2_0'' | 2 бита | 66 GB | ~34 GB | самый быстрый, качество ниже; вариант для ПК с 48 GB RAM |
-| ''iq2_xs'' | 2-битный i-quant | 68 GB | ~36 GB | чуть лучше качество, скорость близка к Q2_0 |
-| ''iq3_xxs'' | 3-битный i-quant | 76 GB | ~43 GB | лучше качество, медленнее (больше работы CPU) |
-| ''iq3_s'' | 3.5-битный i-quant | 84 GB | ~50 GB | **рекомендуется**: лучшее качество, близко к полной модели; самый медленный; нужен ПК с 64 GB RAM, где мало что ещё запущено |
-==== Кванты Unsloth (--family unsloth) ====
+==== Какие модели можно развернуть на моём ПК сейчас ====
-Для мощных машин (много RAM или несколько GPU). Размеры — объём скачивания по данным ''strata launch --plan''.
+Конфигурация: RTX 4080 **16 GB VRAM** + **64 GB RAM** DDR4-3600 (2×32 GB) = **80 GB** RAM+VRAM, i9-9900KF, PCIe 3.0, плата ASUS TUF Z390-PLUS GAMING (WI-FI).
-^ ''--model'' ^ Скачивание ^
+Оценку даёт сама Strata командой, которая только проверяет ПК и ничего не устанавливает:
-| ''ud-iq4_xs'' | 94 GB |
-| ''ud-q4_k_xl'' | 111 GB |
-| ''ud-q5_k_xl'' | 158 GB |
-| ''ud-q6_k_xl'' | 169 GB |
-| ''q8_0'' | 188 GB |
-Для ''ud-q4_k_xl'' и ''ud-iq4_xs'' у установщика есть параметр ''--resident-budget-gib N'' — сколько GB экспертов держать в RAM.
+<code powershell>
+strata install -- --check --family unsloth
+</code>
-==== Другие семейства моделей ====
+Столбец «Нужно RAM+VRAM» — оценка Strata; «Скачать» — по ''strata launch --plan''. **fits** — Strata считает, что помещается; **медленнее** — Strata предупреждает «may run slower» (часть модели будет читаться с диска).
-  * ''--family swift'' — дообученная Swift 1.5 (на базе Qwen3.8-Flash-Next).
+^ Модель ^ Скачать ^ Нужно RAM+VRAM ^ Сейчас (64 GB RAM, 80 GB всего) ^ После +64 GB RAM (144 GB) ^ Команда запуска ^ Комментарий ^
-  * ''--family coder'' — вариант для кода.
+| qwen / ''iq1_m'' | — | ~30 GB | fits | fits | ''strata launch --family qwen --model iq1_m --vision off --port 8081 --no-tui --yes --save-preset "iq1_m 8081"'' | самый маленький, качество заметно ниже |
-  * ''--family qwen36'' — Qwen3.6-35B-A3B (умеет картинки, несколько запросов одновременно).
+| gyro / ''Gyro-S'' | — | ~28 GB | fits | fits | ''strata launch --family gyro --model Gyro-S --vision off --port 8081 --no-tui --yes --save-preset "Gyro-S 8081"'' |  |
-  * ''--family deepseek41'' — DeepSeek-V4.1-Flash (1.75 / 2.00 / 2.25 bpw — 239 / 257 / 274 GB, для серверов).
+| gyro / ''Gyro-M'' | — | ~35 GB | fits | fits | ''strata launch --family gyro --model Gyro-M --vision off --port 8081 --no-tui --yes --save-preset "Gyro-M 8081"'' |  |
+| qwen / ''q2_0'' | 66 GB | ~38 GB | fits | fits | ''strata launch --family qwen --model q2_0 --vision off --port 8081 --no-tui --yes --save-preset "q2_0 8081"'' | самый быстрый из официальных |
+| unsloth / ''ud-iq1_m'' | 68 GB | ~39 GB | fits | fits | ''strata launch --family unsloth --model ud-iq1_m --vision off --port 8081 --no-tui --yes --save-preset "ud-iq1_m 8081"'' |  |
+| unsloth / ''ud-q2_0'' | — | ~42 GB | fits | fits | ''strata launch --family unsloth --model ud-q2_0 --vision off --port 8081 --no-tui --yes --save-preset "ud-q2_0 8081"'' |  |
+| unsloth / ''ud-iq2_xs'' | — | ~47 GB | fits | fits | ''strata launch --family unsloth --model ud-iq2_xs --vision off --port 8081 --no-tui --yes --save-preset "ud-iq2_xs 8081"'' |  |
+| unsloth / ''ud-q2_k_xl'' | 80 GB | ~51 GB | fits | fits | ''strata launch --family unsloth --model ud-q2_k_xl --vision off --port 8081 --no-tui --yes --save-preset "ud-q2_k_xl 8081"'' |  |
+| unsloth / ''ud-iq3_xxs'' | 84 GB | ~55 GB | fits | fits | ''strata launch --family unsloth --model ud-iq3_xxs --vision off --port 8081 --no-tui --yes --save-preset "ud-iq3_xxs 8081"'' |  |
+| unsloth / ''ud-q3_k_xl'' | 90 GB | ~61 GB | fits | fits | ''strata launch --family unsloth --model ud-q3_k_xl --vision off --port 8081 --no-tui --yes --save-preset "ud-q3_k_xl 8081"'' |  |
+| unsloth / ''ud-iq4_xs'' | 94 GB | ~65 GB | fits | fits | ''strata launch --family unsloth --model ud-iq4_xs --vision off --port 8081 --no-tui --yes --save-preset "ud-iq4_xs 8081"'' | 4 бита; хороший выбор по качеству на текущем ПК |
+| qwen / ''iq2_xs'' | 68 GB | ~68 GB | fits | fits | ''strata launch --family qwen --model iq2_xs --vision off --port 8081 --no-tui --yes --save-preset "iq2_xs 8081"'' |  |
+| qwen / ''iq3_xxs'' | 76 GB | ~76 GB | fits | fits | ''strata launch --family qwen --model iq3_xxs --vision off --port 8081 --no-tui --yes --save-preset "iq3_xxs 8081"'' |  |
+| nvfp4 / ''NVFP4'' | — | ~77 GB | fits (впритык) | fits | ''strata launch --family nvfp4 --model NVFP4 --vision off --port 8081 --no-tui --yes --save-preset "NVFP4 8081"'' |  |
+| unsloth / ''ud-q4_k_xl'' | 111 GB | ~82 GB | медленнее | fits | ''strata launch --family unsloth --model ud-q4_k_xl --vision off --port 8081 --no-tui --yes --save-preset "ud-q4_k_xl 8081"'' |  |
+| qwen / ''iq3_s'' | 84 GB | ~84 GB | медленнее | fits | ''strata launch --family qwen --model iq3_s --vision off --port 8081 --no-tui --yes --save-preset "iq3_s 8081"'' | **установлен сейчас**: на практике ~21.5 ток/с |
+| unsloth / ''ud-q5_k_xl'' | 158 GB | ~104 GB | нет | fits | ''strata launch --family unsloth --model ud-q5_k_xl --vision off --port 8081 --no-tui --yes --save-preset "ud-q5_k_xl 8081"'' | 5 бит, почти без потерь |
+| unsloth / ''ud-q6_k_xl'' | 169 GB | ~115 GB | нет | fits | ''strata launch --family unsloth --model ud-q6_k_xl --vision off --port 8081 --no-tui --yes --save-preset "ud-q6_k_xl 8081"'' |  |
+| unsloth / ''q8_0'' | 188 GB | ~134 GB | нет | fits (впритык) | ''strata launch --family unsloth --model q8_0 --vision off --port 8081 --no-tui --yes --save-preset "q8_0 8081"'' | практически полное качество, но генерация заметно медленнее ''iq3_s'' |
+| deepseek41 / ''IST-DAS-1.75bpw'' | 239 GB | больше 144 GB | нет | **нет** | ''strata launch --family deepseek41 --model IST-DAS-1.75bpw --vision off --port 8081 --no-tui --yes --save-preset "IST-DAS-1.75bpw 8081"'' | модель больше, чем RAM+VRAM; нужно 256+ GB RAM |
+| deepseek41 / ''IST-DAS-2.25bpw'' | 274 GB | больше 144 GB | нет | **нет** | ''strata launch --family deepseek41 --model IST-DAS-2.25bpw --vision off --port 8081 --no-tui --yes --save-preset "IST-DAS-2.25bpw 8081"'' | то же |
+«—» в столбце «Скачать» — размер не замерялся; его покажет ''strata launch --family ... --model ... --plan''.
+**Итог для текущего ПК:** всё, что помечено **fits**, плюс уже работающий ''iq3_s''. Если нужна скорость — ''q2_0'' или ''ud-q2_k_xl''; если качество — ''iq3_s'' (текущий) или ''ud-iq4_xs''.
+**Если добавить 64 GB RAM (станет 128 GB + 16 GB VRAM = 144 GB):**
+  * **unsloth / ''q8_0'' — да**, по оценке Strata (~134 GB) помещается, но впритык и генерирует заметно медленнее ''iq3_s'': на каждый токен из RAM читается больше данных. Разумный выбор после апгрейда по балансу качество/скорость — ''ud-q4_k_xl'' или ''ud-q5_k_xl''.
+  * **deepseek41 / IST-DAS-1.75…2.25bpw — нет.** Модель весит 239–274 GB, это больше, чем RAM+VRAM; большая часть читалась бы с диска — слишком медленно для работы. Нужно 256+ GB RAM (новая платформа, см. ниже).
+**Как пользоваться командами из таблицы:**
+  - Сначала посмотреть план без изменений — добавить к команде ''--plan''.
+  - Остановить текущую модель (''strata launch --stop --preset "Goose IQ3_S official 8081"'' или «Остановить» в [[:truenas:application:strata_tray|Strata Tray]]) — либо добавить к команде ''--restart''.
+  - Выполнить команду: первая установка скачивает модель, затем сохраняется пресет ''"<модель> 8081"'', дальше запуск — ''strata launch --preset "<модель> 8081" --no-tui''.
+  - В Goose поменять имя модели у провайдера на то, что вернёт ''/v1/models''; в Strata Tray — ''Preset'' в ''settings.json''.
+Сменить модель — новый пресет, старый остаётся:
+<code powershell>
+strata launch --family unsloth --model ud-iq4_xs --context 128k --vision off --access local --port 8081 --no-tui --plan
+strata launch --family unsloth --model ud-iq4_xs --context 128k --vision off --access local --port 8081 --no-tui --yes --save-preset "Goose UD-IQ4_XS 8081"
+</code>
+Если меняете пресет, поменяйте и имя модели в провайдере Goose (точное имя — из ''/v1/models'') и пресет в ''settings.json'' трей-программы (см. [[:truenas:application:strata_tray|Strata Tray]]).
+==== Что можно будет развернуть после апгрейда ПК ====
+Граница «fits» у Strata — примерно (RAM + VRAM) минус 3 GB. Ниже — **оценка по той же формуле**, на реальном железе не проверялась.
+^ Апгрейд ^ RAM+VRAM ^ Что добавится (fits) ^ Замечания ^
+| **RAM 64 → 128 GB** (докупить ещё 2×32 GB, тот же комплект Kingston FURY ''KF3600C18D4/32GX'') | 144 GB | ''iq3_s'' без предупреждения, ''ud-q4_k_xl'', ''ud-q5_k_xl'', ''ud-q6_k_xl'', ''q8_0'' — вся линейка Qwen3.8-Flash-Next | Самый дешёвый и полезный апгрейд. На плате 4 слота, свободно 2. Windows/SMBIOS сейчас показывает максимум 64 GB, но i9-9900KF поддерживает 128 GB, а модули по 32 GB плата уже принимает — **(проверить)** поддержку 128 GB в списке BIOS/QVL на сайте ASUS и обновить BIOS. С 4 модулями XMP 3600 может работать нестабильно — тогда 3200 MHz. |
+| **GPU 16 → 24 GB** (RTX 4090 / 3090) | 88 GB | ''ud-q4_k_xl'', ''iq3_s'' без предупреждения | Больше слоёв в VRAM — быстрее чтение промпта и генерация. Плата даёт только PCIe 3.0 — часть прироста теряется. |
+| **GPU 16 → 32 GB** (RTX 5090) | 96 GB | то же + запас под длинный контекст | Те же ограничения PCIe 3.0. |
+| **RAM 128 GB + GPU 24–32 GB** | 152–160 GB | вся линейка до ''q8_0'' с запасом | |
+| **Новая платформа** (AM5 / LGA1851, DDR5, 4×64 = 256 GB, PCIe 4.0/5.0) | 256+ GB | DeepSeek-V4.1-Flash 1.75–2.25 bpw; Qwen ''q8_0'' быстро | DDR5 даёт примерно вдвое большую пропускную способность памяти, чем DDR4 — генерация MoE-моделей заметно быстрее. |
+**Что реально ускорит работу:** генерация упирается в пропускную способность RAM (DDR4 двухканал) и PCIe 3.0. Апгрейд RAM до 128 GB открывает более качественные кванты, но **не делает модель быстрее**; ускоряют — больше VRAM и/или новая платформа с DDR5.
 ==== Как посмотреть план без изменений ====
@@ Строка 161: / Строка 214: @@
 ===== Шаг 4: Ежедневный запуск и остановка =====
+**Удобнее — через значок в трее:** программа [[:truenas:application:strata_tray|Strata Tray]] показывает статус Strata и запускает/останавливает её по правому клику, стартует вместе с Windows. Ниже — то же самое командами.
 Запуск (загрузка модели ~1 минута):
@@ Строка 339: / Строка 394: @@
 Ожидаемо: Goose отвечает по-русски, вызывает ''write'' (создаёт ''hello.py'') и ''shell'' (''python hello.py''), выводит время. В ''strata logs'' видны запросы.
+===== Хранение моделей и перенос на другой диск =====
+==== Где лежат файлы ====
+Данные Strata находятся в **папке данных**. По умолчанию это ''%LOCALAPPDATA%\Strata\Strata-data''. Путь к ней записан в ''%APPDATA%\Strata\settings.json'' (ключ ''data_dir'').
+^ Папка ^ Что в ней ^ Пример (IQ3_S) ^
+| ''Strata-data\models\<КВАНТ>\'' | Файлы модели (GGUF-шарды) и метки ''.done'' о завершённой загрузке | ''models\IQ3_S\'', 2 файла, 78 GB |
+| ''Strata-data\packs\<квант>\'' | Модель, подготовленная под движок | ''packs\iq3_s\'', 1.5 GB |
+| ''Strata-data\dflash2\'' | Драфтер DFlash2 (ускоряет генерацию) | 0.8 GB |
+| ''Strata-data\mtp\'' | Слой MTP (только у моделей с ''--drafting mtp'') | — |
+| ''%LOCALAPPDATA%\Strata\components'', ''install'', ''terminal'' | Движок и сама программа (не модели) | ~1.3 GB |
+| ''%LOCALAPPDATA%\Strata\launch'' | Пресеты и логи запусков | мегабайты |
+Новые модели скачиваются в ту же папку данных. Каждый квант получает свою папку в ''models'' и ''packs''. Например, после ''--model ud-iq4_xs'' добавится около 94 GB.
+Посмотреть, что установлено:
+<code powershell>
+strata models list --installed
+</code>
+<code>
+iq3_s  present  qwen3.8-flash-next-iq3_s
+</code>
+==== На какой диск класть ====
+Strata подгружает экспертов модели с диска, если они не помещаются в RAM+VRAM. Поэтому скорость диска напрямую влияет на скорость ответов: чем больше модель превышает 80 GB, тем сильнее.
+^ Диск на этом ПК ^ Тип ^ Для моделей ^
+| C: | NVMe SSD, 954 GB | **Лучший вариант**, модели лежат здесь сейчас |
+| D: | SATA SSD, 3.7 TB | Можно, если на C: не хватает места. Медленнее NVMe (~550 MB/s против ~3 GB/s), заметно на моделях больше 80 GB |
+| E:, F:, G: | HDD | **Не использовать** для запуска, только для архива (скорость падает в разы) |
+**Примечание:** копия RVN IQ3_S в ''F:\projects\inst\qwen-iq3s'' (83 GB) лежит на HDD, и Strata её не использует. Её стоит оставить только для переноса на сервер (см. [[:truenas:application:llamacpp_moe_ssd|llama.cpp: MoE с NVMe + RAM на TrueNAS]]), а потом удалить.
+==== Перенос моделей в другую папку ====
+У Strata есть встроенный перенос, поэтому вручную копировать и делать junction не нужно. Файлы переносятся по одному: каждый копируется, сверяется по SHA-256 и только после этого удаляется со старого места. Если прервать перенос, ничего не потеряется. Перенос на тот же диск выполняется мгновенным переименованием, на другой диск — копированием.
+**Важно:** перед переносом остановите сервер: в трее «Остановить» или ''strata launch --stop --preset "..."''.
+**Способ 1 (рекомендуется): ''strata launch --data-dir ... --move-data''.** Модели переносятся, новая папка запоминается в ''settings.json'' (туда же пойдут следующие загрузки), сервер запускается.
+<code powershell>
+strata launch --stop --preset "Goose IQ3_S official 8081"
+# сначала план: сколько GB и хватит ли места (ничего не меняет)
+strata models move D:\StrataModels --plan
+# перенос + запуск
+strata launch --preset "Goose IQ3_S official 8081" --data-dir D:\StrataModels --move-data --no-tui --yes
+</code>
+Вывод плана на этом ПК:
+<code>
+model(s), 85.2 GB; 2109.3 GB free in D:\StrataModels.
+</code>
+Без ''--move-data'' старые модели останутся на месте и будут работать, а в новую папку пойдут только новые загрузки. ''--yes'' сам по себе модели **не** переносит.
+**Способ 2: ''strata models move''.** Переносит файлы (''models'', ''packs'', ''mtp'') и исправляет пути в конфигурациях запуска, но сервер не запускает.
+<code powershell>
+strata models move D:\StrataModels --plan     # план
+strata models move D:\StrataModels            # перенос (прогресс: "12.3 of 85.2 GB  <файл>")
+</code>
+**(проверить)** По исходному коду Strata 0.1.59 эта команда не меняет ''data_dir'' в ''settings.json''. Поэтому новые загрузки могут продолжать идти в старую папку. Чтобы закрепить новую папку, один раз запустите модель с ''--data-dir D:\StrataModels'' или используйте способ 1.
+Если перенос прервался (выключили ПК, закончилось место):
+<code powershell>
+strata models move --status    # был ли незаконченный перенос
+strata models move --resume    # докончить
+strata models move --leave     # отказаться: модели остаются в старой папке, частичные копии удаляются
+</code>
+После переноса проверьте:
+<code powershell>
+Get-Content $env:APPDATA\Strata\settings.json      # data_dir = новая папка
+strata models list --installed                     # модель present
+curl.exe http://127.0.0.1:8081/v1/models           # сервер отвечает
+</code>
+**Примечание:** папка ''dflash2'' в перенос не входит и остаётся в старом месте (0.8 GB) **(проверить)**. Это не мешает работе.
+==== Удаление ненужной модели ====
+Отдельной команды для удаления модели в Strata 0.1.59 нет. Удалять нужно вручную при остановленном сервере:
+<code powershell>
+strata launch --stop --preset "Goose IQ3_S official 8081"
+$d = (Get-Content $env:APPDATA\Strata\settings.json | ConvertFrom-Json).data_dir
+Get-ChildItem "$d\models", "$d\packs"                      # посмотреть, что есть
+Remove-Item -Recurse "$d\models\UD-IQ4_XS", "$d\packs\ud-iq4_xs"   # пример: имена папок берите из списка выше
+strata launch --delete-preset "ud-iq4_xs 8081"             # если для неё сохранён пресет
+</code>
+Модель, которая используется в рабочем пресете (сейчас ''IQ3_S''), не удаляйте.
 ===== Производительность (RTX 4080 16 GB + 64 GB RAM, IQ3_S) =====
@@ Строка 411: / Строка 570: @@
 strata monitor --url http://127.0.0.1:8081
 strata logs --url http://127.0.0.1:8081
+# модели: список и перенос на другой диск (сервер остановлен)
+strata models list --installed
+strata models move D:\StrataModels --plan
+strata launch --preset "Goose IQ3_S official 8081" --data-dir D:\StrataModels --move-data --no-tui --yes
 </code>
 ^ Что ^ Где ^
 | Strata | ''%LOCALAPPDATA%\Strata'' |
+| Модели (папка данных) | ''%LOCALAPPDATA%\Strata\Strata-data\models'' (путь — ''data_dir'' в ''%APPDATA%\Strata\settings.json'') |
 | Провайдер Goose | ''%APPDATA%\Block\goose\config\custom_providers\custom_strata_qwen.json'' |
 | Конфиг Goose (расширения, провайдер по умолчанию) | ''%APPDATA%\Block\goose\config\config.yaml'' |

Инструменты пользователя

Инструменты сайта

Различия

Инструменты страницы