Различия

Здесь показаны различия между двумя версиями данной страницы.

--- truenas:application:strata_qwen_server [2026/11/12 17:56]
werwolf Таблица моделей с командами запуска и +64 GB RAM; сервер: TrueNAS 25.04 → 25.10.7, Strata как Custom App
+++ truenas:application:strata_qwen_server [2026/11/12 18:15] (текущий)
werwolf llama.cpp: MoE-модели с NVMe + RAM на TrueNAS (Custom App)
@@ Строка 6: / Строка 6: @@
 Локальная установка на Windows-ПК (проверенная пошагово, с замерами скорости и таблицей моделей) — на странице [[:truenas:application:strata_qwen_goose|Qwen3.8-Flash-Next на Strata + Goose Desktop (Windows)]].
+**Без обновления TrueNAS:** на текущем драйвере 550 работает llama.cpp, который держит модель на NVMe и подгружает через RAM — см. [[:truenas:application:llamacpp_moe_ssd|llama.cpp: большие MoE-модели с NVMe + RAM на TrueNAS]].
 **Статус инструкции.** Сервер обследован по SSH, совместимость образа Strata с текущим драйвером **проверена на сервере** (см. «Шаг 1»). Сама установка Custom App после обновления TrueNAS ещё не выполнялась — такие места помечены **(проверить)**.
@@ Строка 76: / Строка 78: @@
 | ''unsloth'' / ''UD-Q2_K_XL'' | 80 GB | ~51 GB | только если остановить другие тяжёлые приложения (Nextcloud, PhotoPrism, Jellyfin…) |
 | ''unsloth'' / ''UD-IQ3_XXS'' | 84 GB | ~55 GB | то же, впритык |
-| ''qwen'' / ''IQ3_XXS'', ''IQ3_S'' и крупнее | 76+ GB | 76+ GB | **нет** — не хватит RAM |
+| ''qwen'' / ''IQ3_XXS'', ''IQ3_S'' | 76 / 84 GB | ~76 / ~84 GB | **только в режиме «только Strata»** — см. ниже «Вариант: IQ3_S» |
+| unsloth ''UD-Q4_K_XL'' и крупнее | 111+ GB | 82+ GB | нет — не хватит RAM |
 | ''qwen36'' (Qwen3.6-35B-A3B) | меньше | меньше | да; меньшая модель, умеет несколько запросов одновременно — **(проверить размер ''--plan'')** |
 Скорость здесь будет **ниже**, чем на ПК с RTX 4080: у RTX 2000 Ada примерно в 3 раза меньше пропускная способность видеопамяти и шина PCIe x8. Замеров нет. **(проверить)**
+==== Вариант: IQ3_S в режиме «только Strata» ====
+Если на время работы Strata остановить все остальные приложения, сервер по памяти почти равен Windows-ПК, на котором IQ3_S проверен (64 GB RAM + 16 GB VRAM, реально занято ~50 GB RAM + 15.7 GB VRAM, ~21.5 ток/с на RTX 4080). На сервере 62 GB RAM — запас меньше, а генерация будет медленнее (видеопамять RTX 2000 Ada примерно в 3 раза медленнее, чем у RTX 4080). **(проверить на сервере)**
+Что нужно:
+  - **Остановить приложения** (Apps → Installed → Stop): все GPU-приложения (''ollama'', ''whisper'', ''libretranslate'', ''xtts'', ''voxcpmtts'') и тяжёлые по памяти (''nextcloud'', ''photoprism'', ''jellyfin'', ''open-webui'', ''anki'', ''pdf-ocr'', ''youtrack''…). Проверка свободной памяти: ''free -g'' — в ''available'' должно быть 55+ GB.
+  - **Ограничить кэш ZFS (ARC).** По умолчанию он может занять почти всю RAM и отдаёт её постепенно, а Strata при загрузке сразу закрепляет десятки GB. **System → Advanced Settings → Init/Shutdown Scripts → Add**:
+    * Type: **Command**
+    * Command: ''echo 8589934592 > /sys/module/zfs/parameters/zfs_arc_max'' (8 GB)
+    * When: **Post Init**
+    * Сохранить и, чтобы применить сразу, выполнить ту же команду в **System → Shell** под root (''sudo -i''). Проверка: ''awk '/^size/ {print $3/2^30 " GB"}' /proc/spl/kstat/zfs/arcstats''. **(проверить)**
+    * Минус: меньше кэша для файлов на дисках — сетевые шары и приложения могут работать чуть медленнее.
+  - В YAML («Шаг 6») поставить ''MODEL: IQ3_S'' (скачивание ~85 GB) и **''restart: "no"''** — чтобы после перезагрузки сервера Strata не стартовала автоматически рядом с остальными приложениями и не вызвала нехватку памяти.
+Порядок работы: остановить приложения → **Start** у ''strata'' → дождаться ''healthy'' → работать → **Stop** у ''strata'' → запустить приложения обратно.
+Если при загрузке контейнер падает или в логах ошибки памяти — вернуться к ''Q2_0'' / ''UD-Q2_K_XL'' либо добавить RAM в сервер (i5-14500 поддерживает до 192 GB; с 128 GB IQ3_S работает рядом со всеми приложениями).
 Посмотреть план без запуска (после обновления TrueNAS, образ скачается ~0.7 GB):

Инструменты пользователя

Инструменты сайта

Различия

Инструменты страницы