Различия

Здесь показаны различия между двумя версиями данной страницы.

--- truenas:application:strata_qwen_goose [2026/11/12 17:41]
werwolf Strata Tray; кванты: что можно на текущем ПК и после апгрейда
+++ truenas:application:strata_qwen_goose [2026/11/12 21:12] (текущий)
werwolf Хранение моделей Strata: где лежат, выбор диска, перенос (--data-dir --move-data, models move), удаление
@@ Строка 98: / Строка 98: @@
 Столбец «Нужно RAM+VRAM» — оценка Strata; «Скачать» — по ''strata launch --plan''. **fits** — Strata считает, что помещается; **медленнее** — Strata предупреждает «may run slower» (часть модели будет читаться с диска).
-^ Модель (''--family'' / ''--model'') ^ Скачать ^ Нужно RAM+VRAM ^ Сейчас (80 GB) ^ Комментарий ^
+^ Модель ^ Скачать ^ Нужно RAM+VRAM ^ Сейчас (64 GB RAM, 80 GB всего) ^ После +64 GB RAM (144 GB) ^ Команда запуска ^ Комментарий ^
-| qwen / ''iq1_m'' | — | ~30 GB | fits | самый маленький, качество заметно ниже |
+| qwen / ''iq1_m'' | — | ~30 GB | fits | fits | ''strata launch --family qwen --model iq1_m --vision off --port 8081 --no-tui --yes --save-preset "iq1_m 8081"'' | самый маленький, качество заметно ниже |
-| gyro / ''Gyro-S'' | — | ~28 GB | fits | |
+| gyro / ''Gyro-S'' | — | ~28 GB | fits | fits | ''strata launch --family gyro --model Gyro-S --vision off --port 8081 --no-tui --yes --save-preset "Gyro-S 8081"'' |  |
-| gyro / ''Gyro-M'' | — | ~35 GB | fits | |
+| gyro / ''Gyro-M'' | — | ~35 GB | fits | fits | ''strata launch --family gyro --model Gyro-M --vision off --port 8081 --no-tui --yes --save-preset "Gyro-M 8081"'' |  |
-| qwen / ''q2_0'' | 66 GB | ~38 GB | fits | самый быстрый из официальных |
+| qwen / ''q2_0'' | 66 GB | ~38 GB | fits | fits | ''strata launch --family qwen --model q2_0 --vision off --port 8081 --no-tui --yes --save-preset "q2_0 8081"'' | самый быстрый из официальных |
-| unsloth / ''ud-iq1_m'' | 68 GB | ~39 GB | fits | |
+| unsloth / ''ud-iq1_m'' | 68 GB | ~39 GB | fits | fits | ''strata launch --family unsloth --model ud-iq1_m --vision off --port 8081 --no-tui --yes --save-preset "ud-iq1_m 8081"'' |  |
-| unsloth / ''ud-q2_0'' | — | ~42 GB | fits | |
+| unsloth / ''ud-q2_0'' | — | ~42 GB | fits | fits | ''strata launch --family unsloth --model ud-q2_0 --vision off --port 8081 --no-tui --yes --save-preset "ud-q2_0 8081"'' |  |
-| unsloth / ''ud-iq2_xs'' | — | ~47 GB | fits | |
+| unsloth / ''ud-iq2_xs'' | — | ~47 GB | fits | fits | ''strata launch --family unsloth --model ud-iq2_xs --vision off --port 8081 --no-tui --yes --save-preset "ud-iq2_xs 8081"'' |  |
-| unsloth / ''ud-q2_k_xl'' | 80 GB | ~51 GB | fits | |
+| unsloth / ''ud-q2_k_xl'' | 80 GB | ~51 GB | fits | fits | ''strata launch --family unsloth --model ud-q2_k_xl --vision off --port 8081 --no-tui --yes --save-preset "ud-q2_k_xl 8081"'' |  |
-| unsloth / ''ud-iq3_xxs'' | 84 GB | ~55 GB | fits | |
+| unsloth / ''ud-iq3_xxs'' | 84 GB | ~55 GB | fits | fits | ''strata launch --family unsloth --model ud-iq3_xxs --vision off --port 8081 --no-tui --yes --save-preset "ud-iq3_xxs 8081"'' |  |
-| unsloth / ''ud-q3_k_xl'' | 90 GB | ~61 GB | fits | |
+| unsloth / ''ud-q3_k_xl'' | 90 GB | ~61 GB | fits | fits | ''strata launch --family unsloth --model ud-q3_k_xl --vision off --port 8081 --no-tui --yes --save-preset "ud-q3_k_xl 8081"'' |  |
-| unsloth / ''ud-iq4_xs'' | 94 GB | ~65 GB | fits | 4 бита; эксперты частично в RAM (''--resident-budget-gib'') |
+| unsloth / ''ud-iq4_xs'' | 94 GB | ~65 GB | fits | fits | ''strata launch --family unsloth --model ud-iq4_xs --vision off --port 8081 --no-tui --yes --save-preset "ud-iq4_xs 8081"'' | 4 бита; хороший выбор по качеству на текущем ПК |
-| qwen / ''iq2_xs'' | 68 GB | ~68 GB | fits | |
+| qwen / ''iq2_xs'' | 68 GB | ~68 GB | fits | fits | ''strata launch --family qwen --model iq2_xs --vision off --port 8081 --no-tui --yes --save-preset "iq2_xs 8081"'' |  |
-| qwen / ''iq3_xxs'' | 76 GB | ~76 GB | fits | |
+| qwen / ''iq3_xxs'' | 76 GB | ~76 GB | fits | fits | ''strata launch --family qwen --model iq3_xxs --vision off --port 8081 --no-tui --yes --save-preset "iq3_xxs 8081"'' |  |
-| nvfp4 / ''NVFP4'' | — | ~77 GB | fits | впритык |
+| nvfp4 / ''NVFP4'' | — | ~77 GB | fits (впритык) | fits | ''strata launch --family nvfp4 --model NVFP4 --vision off --port 8081 --no-tui --yes --save-preset "NVFP4 8081"'' |  |
-| unsloth / ''ud-q4_k_xl'' | 111 GB | ~82 GB | медленнее | |
+| unsloth / ''ud-q4_k_xl'' | 111 GB | ~82 GB | медленнее | fits | ''strata launch --family unsloth --model ud-q4_k_xl --vision off --port 8081 --no-tui --yes --save-preset "ud-q4_k_xl 8081"'' |  |
-| qwen / ''iq3_s'' | 84 GB | ~84 GB | медленнее | **установлен сейчас**: на практике ~21.5 ток/с, работает хорошо |
+| qwen / ''iq3_s'' | 84 GB | ~84 GB | медленнее | fits | ''strata launch --family qwen --model iq3_s --vision off --port 8081 --no-tui --yes --save-preset "iq3_s 8081"'' | **установлен сейчас**: на практике ~21.5 ток/с |
-| unsloth / ''ud-q5_k_xl'' | 158 GB | ~104 GB | медленнее | не рекомендуется на 64 GB |
+| unsloth / ''ud-q5_k_xl'' | 158 GB | ~104 GB | нет | fits | ''strata launch --family unsloth --model ud-q5_k_xl --vision off --port 8081 --no-tui --yes --save-preset "ud-q5_k_xl 8081"'' | 5 бит, почти без потерь |
-| unsloth / ''ud-q6_k_xl'' | 169 GB | ~115 GB | медленнее | не рекомендуется на 64 GB |
+| unsloth / ''ud-q6_k_xl'' | 169 GB | ~115 GB | нет | fits | ''strata launch --family unsloth --model ud-q6_k_xl --vision off --port 8081 --no-tui --yes --save-preset "ud-q6_k_xl 8081"'' |  |
-| unsloth / ''q8_0'' | 188 GB | ~134 GB | медленнее | не рекомендуется на 64 GB |
+| unsloth / ''q8_0'' | 188 GB | ~134 GB | нет | fits (впритык) | ''strata launch --family unsloth --model q8_0 --vision off --port 8081 --no-tui --yes --save-preset "q8_0 8081"'' | практически полное качество, но генерация заметно медленнее ''iq3_s'' |
-| deepseek41 / ''IST-DAS-1.75bpw'' … ''2.25bpw'' | 239–274 GB | — | медленнее | только для серверов с 256+ GB RAM |
+| deepseek41 / ''IST-DAS-1.75bpw'' | 239 GB | больше 144 GB | нет | **нет** | ''strata launch --family deepseek41 --model IST-DAS-1.75bpw --vision off --port 8081 --no-tui --yes --save-preset "IST-DAS-1.75bpw 8081"'' | модель больше, чем RAM+VRAM; нужно 256+ GB RAM |
+| deepseek41 / ''IST-DAS-2.25bpw'' | 274 GB | больше 144 GB | нет | **нет** | ''strata launch --family deepseek41 --model IST-DAS-2.25bpw --vision off --port 8081 --no-tui --yes --save-preset "IST-DAS-2.25bpw 8081"'' | то же |
 «—» в столбце «Скачать» — размер не замерялся; его покажет ''strata launch --family ... --model ... --plan''.
 **Итог для текущего ПК:** всё, что помечено **fits**, плюс уже работающий ''iq3_s''. Если нужна скорость — ''q2_0'' или ''ud-q2_k_xl''; если качество — ''iq3_s'' (текущий) или ''ud-iq4_xs''.
+**Если добавить 64 GB RAM (станет 128 GB + 16 GB VRAM = 144 GB):**
+  * **unsloth / ''q8_0'' — да**, по оценке Strata (~134 GB) помещается, но впритык и генерирует заметно медленнее ''iq3_s'': на каждый токен из RAM читается больше данных. Разумный выбор после апгрейда по балансу качество/скорость — ''ud-q4_k_xl'' или ''ud-q5_k_xl''.
+  * **deepseek41 / IST-DAS-1.75…2.25bpw — нет.** Модель весит 239–274 GB, это больше, чем RAM+VRAM; большая часть читалась бы с диска — слишком медленно для работы. Нужно 256+ GB RAM (новая платформа, см. ниже).
+**Как пользоваться командами из таблицы:**
+  - Сначала посмотреть план без изменений — добавить к команде ''--plan''.
+  - Остановить текущую модель (''strata launch --stop --preset "Goose IQ3_S official 8081"'' или «Остановить» в [[:truenas:application:strata_tray|Strata Tray]]) — либо добавить к команде ''--restart''.
+  - Выполнить команду: первая установка скачивает модель, затем сохраняется пресет ''"<модель> 8081"'', дальше запуск — ''strata launch --preset "<модель> 8081" --no-tui''.
+  - В Goose поменять имя модели у провайдера на то, что вернёт ''/v1/models''; в Strata Tray — ''Preset'' в ''settings.json''.
 Сменить модель — новый пресет, старый остаётся:
@@ Строка 383: / Строка 394: @@
 Ожидаемо: Goose отвечает по-русски, вызывает ''write'' (создаёт ''hello.py'') и ''shell'' (''python hello.py''), выводит время. В ''strata logs'' видны запросы.
+===== Хранение моделей и перенос на другой диск =====
+==== Где лежат файлы ====
+Данные Strata находятся в **папке данных**. По умолчанию это ''%LOCALAPPDATA%\Strata\Strata-data''. Путь к ней записан в ''%APPDATA%\Strata\settings.json'' (ключ ''data_dir'').
+^ Папка ^ Что в ней ^ Пример (IQ3_S) ^
+| ''Strata-data\models\<КВАНТ>\'' | Файлы модели (GGUF-шарды) и метки ''.done'' о завершённой загрузке | ''models\IQ3_S\'', 2 файла, 78 GB |
+| ''Strata-data\packs\<квант>\'' | Модель, подготовленная под движок | ''packs\iq3_s\'', 1.5 GB |
+| ''Strata-data\dflash2\'' | Драфтер DFlash2 (ускоряет генерацию) | 0.8 GB |
+| ''Strata-data\mtp\'' | Слой MTP (только у моделей с ''--drafting mtp'') | — |
+| ''%LOCALAPPDATA%\Strata\components'', ''install'', ''terminal'' | Движок и сама программа (не модели) | ~1.3 GB |
+| ''%LOCALAPPDATA%\Strata\launch'' | Пресеты и логи запусков | мегабайты |
+Новые модели скачиваются в ту же папку данных. Каждый квант получает свою папку в ''models'' и ''packs''. Например, после ''--model ud-iq4_xs'' добавится около 94 GB.
+Посмотреть, что установлено:
+<code powershell>
+strata models list --installed
+</code>
+<code>
+iq3_s  present  qwen3.8-flash-next-iq3_s
+</code>
+==== На какой диск класть ====
+Strata подгружает экспертов модели с диска, если они не помещаются в RAM+VRAM. Поэтому скорость диска напрямую влияет на скорость ответов: чем больше модель превышает 80 GB, тем сильнее.
+^ Диск на этом ПК ^ Тип ^ Для моделей ^
+| C: | NVMe SSD, 954 GB | **Лучший вариант**, модели лежат здесь сейчас |
+| D: | SATA SSD, 3.7 TB | Можно, если на C: не хватает места. Медленнее NVMe (~550 MB/s против ~3 GB/s), заметно на моделях больше 80 GB |
+| E:, F:, G: | HDD | **Не использовать** для запуска, только для архива (скорость падает в разы) |
+**Примечание:** копия RVN IQ3_S в ''F:\projects\inst\qwen-iq3s'' (83 GB) лежит на HDD, и Strata её не использует. Её стоит оставить только для переноса на сервер (см. [[:truenas:application:llamacpp_moe_ssd|llama.cpp: MoE с NVMe + RAM на TrueNAS]]), а потом удалить.
+==== Перенос моделей в другую папку ====
+У Strata есть встроенный перенос, поэтому вручную копировать и делать junction не нужно. Файлы переносятся по одному: каждый копируется, сверяется по SHA-256 и только после этого удаляется со старого места. Если прервать перенос, ничего не потеряется. Перенос на тот же диск выполняется мгновенным переименованием, на другой диск — копированием.
+**Важно:** перед переносом остановите сервер: в трее «Остановить» или ''strata launch --stop --preset "..."''.
+**Способ 1 (рекомендуется): ''strata launch --data-dir ... --move-data''.** Модели переносятся, новая папка запоминается в ''settings.json'' (туда же пойдут следующие загрузки), сервер запускается.
+<code powershell>
+strata launch --stop --preset "Goose IQ3_S official 8081"
+# сначала план: сколько GB и хватит ли места (ничего не меняет)
+strata models move D:\StrataModels --plan
+# перенос + запуск
+strata launch --preset "Goose IQ3_S official 8081" --data-dir D:\StrataModels --move-data --no-tui --yes
+</code>
+Вывод плана на этом ПК:
+<code>
+model(s), 85.2 GB; 2109.3 GB free in D:\StrataModels.
+</code>
+Без ''--move-data'' старые модели останутся на месте и будут работать, а в новую папку пойдут только новые загрузки. ''--yes'' сам по себе модели **не** переносит.
+**Способ 2: ''strata models move''.** Переносит файлы (''models'', ''packs'', ''mtp'') и исправляет пути в конфигурациях запуска, но сервер не запускает.
+<code powershell>
+strata models move D:\StrataModels --plan     # план
+strata models move D:\StrataModels            # перенос (прогресс: "12.3 of 85.2 GB  <файл>")
+</code>
+**(проверить)** По исходному коду Strata 0.1.59 эта команда не меняет ''data_dir'' в ''settings.json''. Поэтому новые загрузки могут продолжать идти в старую папку. Чтобы закрепить новую папку, один раз запустите модель с ''--data-dir D:\StrataModels'' или используйте способ 1.
+Если перенос прервался (выключили ПК, закончилось место):
+<code powershell>
+strata models move --status    # был ли незаконченный перенос
+strata models move --resume    # докончить
+strata models move --leave     # отказаться: модели остаются в старой папке, частичные копии удаляются
+</code>
+После переноса проверьте:
+<code powershell>
+Get-Content $env:APPDATA\Strata\settings.json      # data_dir = новая папка
+strata models list --installed                     # модель present
+curl.exe http://127.0.0.1:8081/v1/models           # сервер отвечает
+</code>
+**Примечание:** папка ''dflash2'' в перенос не входит и остаётся в старом месте (0.8 GB) **(проверить)**. Это не мешает работе.
+==== Удаление ненужной модели ====
+Отдельной команды для удаления модели в Strata 0.1.59 нет. Удалять нужно вручную при остановленном сервере:
+<code powershell>
+strata launch --stop --preset "Goose IQ3_S official 8081"
+$d = (Get-Content $env:APPDATA\Strata\settings.json | ConvertFrom-Json).data_dir
+Get-ChildItem "$d\models", "$d\packs"                      # посмотреть, что есть
+Remove-Item -Recurse "$d\models\UD-IQ4_XS", "$d\packs\ud-iq4_xs"   # пример: имена папок берите из списка выше
+strata launch --delete-preset "ud-iq4_xs 8081"             # если для неё сохранён пресет
+</code>
+Модель, которая используется в рабочем пресете (сейчас ''IQ3_S''), не удаляйте.
 ===== Производительность (RTX 4080 16 GB + 64 GB RAM, IQ3_S) =====
@@ Строка 455: / Строка 570: @@
 strata monitor --url http://127.0.0.1:8081
 strata logs --url http://127.0.0.1:8081
+# модели: список и перенос на другой диск (сервер остановлен)
+strata models list --installed
+strata models move D:\StrataModels --plan
+strata launch --preset "Goose IQ3_S official 8081" --data-dir D:\StrataModels --move-data --no-tui --yes
 </code>
 ^ Что ^ Где ^
 | Strata | ''%LOCALAPPDATA%\Strata'' |
+| Модели (папка данных) | ''%LOCALAPPDATA%\Strata\Strata-data\models'' (путь — ''data_dir'' в ''%APPDATA%\Strata\settings.json'') |
 | Провайдер Goose | ''%APPDATA%\Block\goose\config\custom_providers\custom_strata_qwen.json'' |
 | Конфиг Goose (расширения, провайдер по умолчанию) | ''%APPDATA%\Block\goose\config\config.yaml'' |

Инструменты пользователя

Инструменты сайта

Различия

Инструменты страницы