Files

T

Leonid Pershin 71f4e4c2e3 Update extensions and documentation for LLM integration and CLI enhancements

- Added support for a new extension, `swarm-assistent`, in `extensions.example.yaml` with a requirement for `ollama`.
- Enhanced the README.md to clarify the setup process and provide a quick start guide for using extensions.
- Updated documentation in `llm.md` to reflect the opt-in nature of LLM support and provide clearer instructions for enabling it.
- Improved the `autocomplete.md` to detail the automatic setup of word lists during the initial launch.
- Revised `cli.md` to include new commands and options related to LLM runtime handling and extension management.
- Enhanced the `spike-notes.md` to guide users through the first live run with a focus on LLM integration.

2026-08-21 05:49:34 +03:00

4.1 KiB

Raw Blame History

LLM рядом со SwarmUI (opt-in)

По умолчанию поднимается только SwarmUI. Ollama или llama.cpp — отдельно, когда нужны (помощь с промптами и т.п.).

Быстрый путь

Вариант A — wizard

gpu-rent setup

Выбери ollama или llamacpp, при Ollama — пресет моделей. Значение пишется в gpu-rent.vars (LLM_RUNTIME=…).

Вариант B — флаг на `up`

gpu-rent up --yes --ollama
gpu-rent up --yes --llm llamacpp

Вариант C — вручную в vars

LLM_RUNTIME=ollama

Потом обычный gpu-rent up --yes.

Чтобы выключить LLM на следующих сессиях: LLM_RUNTIME=none (на up старые unit’ы gpu-rent-ollama / gpu-rent-llamacpp останавливаются).

Голый gpu-rent без args — help, не up. Двойной клик: GPU_RENT_DEFAULT_ARGS=up --yes в gpu-rent.vars. Полный doctor на up: up -v.

Порты (loopback + туннель)

Сервис	На VM	На ноутбуке
SwarmUI	7801	17801
Ollama	11434	17811
llama.cpp	8080	17812

gpu-rent tunnel
gpu-rent open --llm

Клиент Ollama:

# Windows PowerShell
$env:OLLAMA_HOST = "http://127.0.0.1:17811"

После успешного up/tunnel CLI печатает access-card со всеми URL и MCP-сниппетом.

Ollama: модели

Файл	Роль
`ollama-models.example.yaml`	шаблон в git
`ollama-models.yaml`	твой список (gitignore)

На up при LLM_RUNTIME=ollama CLI делает ollama pull по списку. Уже скачанные теги точно не трогает (foo:3b ≠ foo:7b). Лишние модели на диске не удаляет.

Пресеты `setup`

preset	tag	зачем
recommended	`huihui_ai/qwen2.5-abliterate:7b`	RU/EN, ~5 GB, меньше отказов
light	`qwen2.5:3b`	быстрее, слабее
stock	`qwen2.5:7b`	официальный
alt	`richardyoung/qwen2.5-7b-instruct-abliterated`	другой abliterate
empty	`[]`	только runtime, pull руками

Community abliterate-модели без гарантий безопасности — для личного prompt-help рядом со SwarmUI.

Поле default: true в yaml — preferred модель (лог / подсказка); pull идёт по всему списку.

llama.cpp

LLM_RUNTIME=llamacpp или up --llamacpp
CLI ставит llama-server + systemd gpu-rent-llamacpp
Положи GGUF в /mnt/swarm_data/llamacpp/models (SFTP / gpu-rent ssh)
systemctl restart gpu-rent-llamacpp на VM

Без GGUF unit может стартовать, но API бесполезен — смотри gpu-rent logs / journalctl -u gpu-rent-llamacpp.

Idle-killer и LLM

Busy (не гасить GPU), если:

идёт ollama pull (маркер младше ~45 мин; старше — сбрасывается);
в Ollama есть загруженная модель;
llama.cpp занимает слоты.

Ошибка установки LLM на up — fail (не тихий лог): почини или поставь LLM_RUNTIME=none.

Supply-chain (опциональный pin)

По умолчанию install-скрипты тянут upstream без pin (Ollama: curl|sh; llama.cpp: GitHub latest) — риск подмены. В логе будет WARN.

Жёстче — задай env на VM / при bootstrap:

OLLAMA_VERSION=0.6.5
OLLAMA_SHA256=<sha256 of ollama-linux-amd64.tgz>

LLAMACPP_TAG=b4690
# или LLAMACPP_ASSET_URL=... + LLAMACPP_SHA256=...

4.1 KiB Raw Blame History