gpu-rent/docs/llm.md

LLM рядом со SwarmUI (opt-in)

По умолчанию поднимается только SwarmUI. Ollama или llama.cpp — отдельно (помощь с промптами и т.п.).

Интерактивные вопросы — нумерованные меню (Enter = вариант со ←). Ключ словом (recommended, keep) тоже принимается.

Три стека на GPU:

#	стек	смысл
1	SwarmUI	только генерация картинок
2	SwarmUI + LLM	UI + Ollama/llama.cpp на той же карте
3	только LLM	без SwarmUI — Ollama или llama.cpp

Флаги: up --yes --llm-only --llamacpp / --no-swarm --ollama. Vars: ENABLE_SWARMUI=false или WORKLOAD=llm.

---

Быстрый путь

A — wizard

gpu-rent setup

Меню: runtime → пресет моделей → опционально local-watchdog. Пишет LLM_RUNTIME в gpu-rent.vars.

B — флаг на up

gpu-rent up --yes --ollama
gpu-rent up --yes --llm llamacpp
gpu-rent up --yes --llm-only --llamacpp   # без SwarmUI

С --yes пресеты не спрашивает (берёт существующий yaml / example).

C — vars вручную

LLM_RUNTIME=ollama

Потом gpu-rent up --yes.

Выключить: LLM_RUNTIME=none (на up старые unit’ы gpu-rent-ollama / gpu-rent-llamacpp останавливаются).

Голый gpu-rent без args — help. Двойной клик: GPU_RENT_DEFAULT_ARGS=up --yes. Полный doctor на up: up -v.

---

Порты (loopback + туннель)

Сервис	На VM	На ноутбуке
SwarmUI	7801	17801
Ollama	11434	17811
llama.cpp	8080	17812

gpu-rent tunnel
gpu-rent open --llm

$env:OLLAMA_HOST = "http://127.0.0.1:17811"

После up/tunnel — access-card с URL и MCP-сниппетом.

---

Ollama

Файл	Роль
ollama-models.example.yaml	шаблон в git
ollama-models.yaml	список тегов (gitignore); лаунчер копирует example при отсутствии

На up — ollama pull по списку. Точные теги: уже есть foo:7b ≠ skip для foo:3b. Лишнее на диске не удаляет.

Пресеты (меню)

#	ключ	tag / смысл
1	recommended	huihui_ai/qwen2.5-vl-abliterated:7b — vision+RU, ~6 GB
2	light	VL 3B abliterate (~3 GB)
3	text	text-only qwen2.5-abliterate:7b
4	stock	qwen2.5:7b
5	alt	другой text abliterate 7B
6	empty	только runtime
—	keep	не трогать yaml (если уже спросили повторно)

default: true в yaml — preferred в логе; pull идёт по всему списку.

---

Автотюнинг Ollama

Unit gpu-rent-ollama читает /mnt/swarm_data/.gpu-rent-gpu.json:

Tier (VRAM)	Flash Attn	KEEP_ALIVE	KV cache	GPU_OVERHEAD
low (<16 GiB)	off	2m	q4_0	6 GiB
mid (16–23)	on*	5m	q8_0	10 GiB
high (24–47)	on*	15m	q8_0	14 GiB
ultra (≥48)	on*	30m	q8_0	20 GiB

*Flash на Ampere+ (compute ≥ 8.0). NUM_PARALLEL=1, MAX_LOADED_MODELS=1. Env: /mnt/swarm_data/.gpu-rent-ollama.env.

---

llama.cpp

Файл	Роль
llamacpp-models.example.yaml	шаблон
llamacpp-models.yaml	HTTPS URL на .gguf (gitignore)

На up: скачать GGUF → /mnt/swarm_data/llamacpp/models → llama-server + systemd. Уже скачанные крупные файлы не трогает.

Бинарник: у upstream нет Linux CUDA в GitHub Releases (только Windows). install_llamacpp.sh собирает llama-server из исходников (GGML_CUDA=ON, arch из GPU probe). Если nvcc недоступен — fallback на Ubuntu Vulkan/CPU asset (без Windows). Pin: LLAMACPP_TAG=b10545. Override: LLAMACPP_ASSET_URL + LLAMACPP_SHA256.

Пресеты (меню)

#	ключ	что
1	recommended	Qwen2.5-VL 7B abliterate + mmproj (~4.7+0.8 GB, картинки+RU)
2	light	Qwen2.5 3B Instruct text Q4_K_M
3	text	Qwen2.5 7B abliterate text-only
4	stock	официальный 7B Instruct Q4_K_M
5	empty	только runtime
—	keep	не трогать yaml

-ngl / -c — по GPU probe. Для recommended abliterate GGUF нужен HF_TOKEN в .env (иначе 401). Вручную: положи GGUF в models и systemctl restart gpu-rent-llamacpp.

---

Idle-killer и LLM

Busy (не гасить GPU):

• ollama pull (маркер младше ~45 мин; старше сбрасывается);
• загруженная модель в Ollama;
• llama.cpp: слоты заняты.

Ошибка установки LLM на up — fail (не тихий лог).

---

Supply-chain (опциональный pin)

По умолчанию install тянет upstream без pin (WARN в логе). Жёстче:

OLLAMA_VERSION=0.6.5
OLLAMA_SHA256=<sha256 of ollama-linux-amd64.tgz>
LLAMACPP_TAG=b10545
# или LLAMACPP_ASSET_URL=... + LLAMACPP_SHA256=...