Инструменты пользователя
truenas:application:strata_qwen_goose
Различия
Здесь показаны различия между двумя версиями данной страницы.
| Предыдущая версия справа и слева Предыдущая версия Следующая версия | Предыдущая версия | ||
|
truenas:application:strata_qwen_goose [2026/11/12 17:56] werwolf Таблица моделей с командами запуска и +64 GB RAM; сервер: TrueNAS 25.04 → 25.10.7, Strata как Custom App |
truenas:application:strata_qwen_goose [2026/11/12 21:12] (текущий) werwolf Хранение моделей Strata: где лежат, выбор диска, перенос (--data-dir --move-data, models move), удаление |
||
|---|---|---|---|
| Строка 394: | Строка 394: | ||
| Ожидаемо: Goose отвечает по-русски, вызывает ''write'' (создаёт ''hello.py'') и ''shell'' (''python hello.py''), выводит время. В ''strata logs'' видны запросы. | Ожидаемо: Goose отвечает по-русски, вызывает ''write'' (создаёт ''hello.py'') и ''shell'' (''python hello.py''), выводит время. В ''strata logs'' видны запросы. | ||
| + | |||
| + | ===== Хранение моделей и перенос на другой диск ===== | ||
| + | |||
| + | ==== Где лежат файлы ==== | ||
| + | |||
| + | Данные Strata находятся в **папке данных**. По умолчанию это ''%LOCALAPPDATA%\Strata\Strata-data''. Путь к ней записан в ''%APPDATA%\Strata\settings.json'' (ключ ''data_dir''). | ||
| + | |||
| + | ^ Папка ^ Что в ней ^ Пример (IQ3_S) ^ | ||
| + | | ''Strata-data\models\<КВАНТ>\'' | Файлы модели (GGUF-шарды) и метки ''.done'' о завершённой загрузке | ''models\IQ3_S\'', 2 файла, 78 GB | | ||
| + | | ''Strata-data\packs\<квант>\'' | Модель, подготовленная под движок | ''packs\iq3_s\'', 1.5 GB | | ||
| + | | ''Strata-data\dflash2\'' | Драфтер DFlash2 (ускоряет генерацию) | 0.8 GB | | ||
| + | | ''Strata-data\mtp\'' | Слой MTP (только у моделей с ''--drafting mtp'') | — | | ||
| + | | ''%LOCALAPPDATA%\Strata\components'', ''install'', ''terminal'' | Движок и сама программа (не модели) | ~1.3 GB | | ||
| + | | ''%LOCALAPPDATA%\Strata\launch'' | Пресеты и логи запусков | мегабайты | | ||
| + | |||
| + | Новые модели скачиваются в ту же папку данных. Каждый квант получает свою папку в ''models'' и ''packs''. Например, после ''--model ud-iq4_xs'' добавится около 94 GB. | ||
| + | |||
| + | Посмотреть, что установлено: | ||
| + | |||
| + | <code powershell> | ||
| + | strata models list --installed | ||
| + | </code> | ||
| + | |||
| + | <code> | ||
| + | iq3_s present qwen3.8-flash-next-iq3_s | ||
| + | </code> | ||
| + | |||
| + | ==== На какой диск класть ==== | ||
| + | |||
| + | Strata подгружает экспертов модели с диска, если они не помещаются в RAM+VRAM. Поэтому скорость диска напрямую влияет на скорость ответов: чем больше модель превышает 80 GB, тем сильнее. | ||
| + | |||
| + | ^ Диск на этом ПК ^ Тип ^ Для моделей ^ | ||
| + | | C: | NVMe SSD, 954 GB | **Лучший вариант**, модели лежат здесь сейчас | | ||
| + | | D: | SATA SSD, 3.7 TB | Можно, если на C: не хватает места. Медленнее NVMe (~550 MB/s против ~3 GB/s), заметно на моделях больше 80 GB | | ||
| + | | E:, F:, G: | HDD | **Не использовать** для запуска, только для архива (скорость падает в разы) | | ||
| + | |||
| + | **Примечание:** копия RVN IQ3_S в ''F:\projects\inst\qwen-iq3s'' (83 GB) лежит на HDD, и Strata её не использует. Её стоит оставить только для переноса на сервер (см. [[:truenas:application:llamacpp_moe_ssd|llama.cpp: MoE с NVMe + RAM на TrueNAS]]), а потом удалить. | ||
| + | |||
| + | ==== Перенос моделей в другую папку ==== | ||
| + | |||
| + | У Strata есть встроенный перенос, поэтому вручную копировать и делать junction не нужно. Файлы переносятся по одному: каждый копируется, сверяется по SHA-256 и только после этого удаляется со старого места. Если прервать перенос, ничего не потеряется. Перенос на тот же диск выполняется мгновенным переименованием, на другой диск — копированием. | ||
| + | |||
| + | **Важно:** перед переносом остановите сервер: в трее «Остановить» или ''strata launch --stop --preset "..."''. | ||
| + | |||
| + | **Способ 1 (рекомендуется): ''strata launch --data-dir ... --move-data''.** Модели переносятся, новая папка запоминается в ''settings.json'' (туда же пойдут следующие загрузки), сервер запускается. | ||
| + | |||
| + | <code powershell> | ||
| + | strata launch --stop --preset "Goose IQ3_S official 8081" | ||
| + | |||
| + | # сначала план: сколько GB и хватит ли места (ничего не меняет) | ||
| + | strata models move D:\StrataModels --plan | ||
| + | |||
| + | # перенос + запуск | ||
| + | strata launch --preset "Goose IQ3_S official 8081" --data-dir D:\StrataModels --move-data --no-tui --yes | ||
| + | </code> | ||
| + | |||
| + | Вывод плана на этом ПК: | ||
| + | |||
| + | <code> | ||
| + | 1 model(s), 85.2 GB; 2109.3 GB free in D:\StrataModels. | ||
| + | </code> | ||
| + | |||
| + | Без ''--move-data'' старые модели останутся на месте и будут работать, а в новую папку пойдут только новые загрузки. ''--yes'' сам по себе модели **не** переносит. | ||
| + | |||
| + | **Способ 2: ''strata models move''.** Переносит файлы (''models'', ''packs'', ''mtp'') и исправляет пути в конфигурациях запуска, но сервер не запускает. | ||
| + | |||
| + | <code powershell> | ||
| + | strata models move D:\StrataModels --plan # план | ||
| + | strata models move D:\StrataModels # перенос (прогресс: "12.3 of 85.2 GB <файл>") | ||
| + | </code> | ||
| + | |||
| + | **(проверить)** По исходному коду Strata 0.1.59 эта команда не меняет ''data_dir'' в ''settings.json''. Поэтому новые загрузки могут продолжать идти в старую папку. Чтобы закрепить новую папку, один раз запустите модель с ''--data-dir D:\StrataModels'' или используйте способ 1. | ||
| + | |||
| + | Если перенос прервался (выключили ПК, закончилось место): | ||
| + | |||
| + | <code powershell> | ||
| + | strata models move --status # был ли незаконченный перенос | ||
| + | strata models move --resume # докончить | ||
| + | strata models move --leave # отказаться: модели остаются в старой папке, частичные копии удаляются | ||
| + | </code> | ||
| + | |||
| + | После переноса проверьте: | ||
| + | |||
| + | <code powershell> | ||
| + | Get-Content $env:APPDATA\Strata\settings.json # data_dir = новая папка | ||
| + | strata models list --installed # модель present | ||
| + | curl.exe http://127.0.0.1:8081/v1/models # сервер отвечает | ||
| + | </code> | ||
| + | |||
| + | **Примечание:** папка ''dflash2'' в перенос не входит и остаётся в старом месте (0.8 GB) **(проверить)**. Это не мешает работе. | ||
| + | |||
| + | ==== Удаление ненужной модели ==== | ||
| + | |||
| + | Отдельной команды для удаления модели в Strata 0.1.59 нет. Удалять нужно вручную при остановленном сервере: | ||
| + | |||
| + | <code powershell> | ||
| + | strata launch --stop --preset "Goose IQ3_S official 8081" | ||
| + | $d = (Get-Content $env:APPDATA\Strata\settings.json | ConvertFrom-Json).data_dir | ||
| + | Get-ChildItem "$d\models", "$d\packs" # посмотреть, что есть | ||
| + | Remove-Item -Recurse "$d\models\UD-IQ4_XS", "$d\packs\ud-iq4_xs" # пример: имена папок берите из списка выше | ||
| + | strata launch --delete-preset "ud-iq4_xs 8081" # если для неё сохранён пресет | ||
| + | </code> | ||
| + | |||
| + | Модель, которая используется в рабочем пресете (сейчас ''IQ3_S''), не удаляйте. | ||
| ===== Производительность (RTX 4080 16 GB + 64 GB RAM, IQ3_S) ===== | ===== Производительность (RTX 4080 16 GB + 64 GB RAM, IQ3_S) ===== | ||
| Строка 466: | Строка 570: | ||
| strata monitor --url http://127.0.0.1:8081 | strata monitor --url http://127.0.0.1:8081 | ||
| strata logs --url http://127.0.0.1:8081 | strata logs --url http://127.0.0.1:8081 | ||
| + | |||
| + | # модели: список и перенос на другой диск (сервер остановлен) | ||
| + | strata models list --installed | ||
| + | strata models move D:\StrataModels --plan | ||
| + | strata launch --preset "Goose IQ3_S official 8081" --data-dir D:\StrataModels --move-data --no-tui --yes | ||
| </code> | </code> | ||
| ^ Что ^ Где ^ | ^ Что ^ Где ^ | ||
| | Strata | ''%LOCALAPPDATA%\Strata'' | | | Strata | ''%LOCALAPPDATA%\Strata'' | | ||
| + | | Модели (папка данных) | ''%LOCALAPPDATA%\Strata\Strata-data\models'' (путь — ''data_dir'' в ''%APPDATA%\Strata\settings.json'') | | ||
| | Провайдер Goose | ''%APPDATA%\Block\goose\config\custom_providers\custom_strata_qwen.json'' | | | Провайдер Goose | ''%APPDATA%\Block\goose\config\custom_providers\custom_strata_qwen.json'' | | ||
| | Конфиг Goose (расширения, провайдер по умолчанию) | ''%APPDATA%\Block\goose\config\config.yaml'' | | | Конфиг Goose (расширения, провайдер по умолчанию) | ''%APPDATA%\Block\goose\config\config.yaml'' | | ||
truenas/application/strata_qwen_goose.1794506180.txt.gz · Последние изменения: 2026/11/12 17:56 — werwolf
Инструменты страницы
Если не указано иное, содержимое этой вики предоставляется на условиях следующей лицензии: CC Attribution-Share Alike 4.0 International
