Агенты подхватывают изменения с сервера: каталог и самообновление
CI / test (push) Successful in 1m29s

- сервер отдаёт агенту итоговый каталог (встроенный каталог сервера +
  переопределения клиента); если каталог не подходит версии агента —
  встроенный каталог агента и предупреждение
- самообновление перед бэкапом: версия сервера новее → скачивание с того же
  сервера (только /dl/...), проверка sha256 и запуска новой версии, подмена
  с откатом, перезапуск через exec; при ошибке бэкап идёт текущей версией
- галочка «Автообновление» у клиента (по умолчанию включена), версия агента
  в списке и карточке, отставшие подсвечены; версия сервера в шапке
- миграция существующей базы: колонки auto_update и agent_version
- backupctl backup --no-update

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
mrleo1nidandClaude Opus 5.5 committed 2026-10-17 15:27:31 +03:00
1 parent 1947b26913
commit 488abc2d34
21 files changed
+674 -51

No files matched your search

+48 -1
View File
@@ -15,10 +15,14 @@ import (
"regexp"
"slices"
"strconv"
"strings"
"time"
"gitea.hsrv.site/mrleo1nid/backup-master/internal/api"
"gitea.hsrv.site/mrleo1nid/backup-master/internal/catalog"
"gitea.hsrv.site/mrleo1nid/backup-master/internal/manifest"
"gitea.hsrv.site/mrleo1nid/backup-master/internal/version"
"gopkg.in/yaml.v3"
)
type ctxKey int
@@ -79,7 +83,50 @@ func (s *Server) apiAgentConfig(w http.ResponseWriter, r *http.Request) {
c := clientFrom(r)
due := c.HeavyEveryDays >= 0 &&
time.Since(time.Unix(c.LastHeavyAt, 0)) >= time.Duration(c.HeavyEveryDays)*24*time.Hour-time.Hour
jsonResp(w, http.StatusOK, AgentConfigResponse{Domain: c.Domain, ConfigYAML: c.ConfigYAML, HeavyDue: due})
resp := AgentConfigResponse{Domain: c.Domain, ConfigYAML: c.ConfigYAML, HeavyDue: due, ServerVersion: s.cfg.Version}
agentVer := r.URL.Query().Get("version")
if agentVer != "" && agentVer != c.AgentVersion {
_ = s.st.SetAgentVersion(c.ID, agentVer)
}
// итоговый каталог: встроенный каталог сервера + переопределения клиента
if cat, err := s.clientCatalog(c); err != nil {
log.Printf("каталог %s: %v", c.Domain, err)
} else {
resp.CatalogYAML = cat
}
arch := r.URL.Query().Get("arch")
if c.AutoUpdate && agentVer != "" && version.ShouldUpdate(s.cfg.Version, agentVer) {
if p, ok := s.binaryPath(arch); ok {
if sum, err := s.binarySHA256(p); err == nil {
resp.Update = &api.AgentUpdate{Version: s.cfg.Version, Path: "/dl/backupctl-linux-" + arch, SHA256: sum}
} else {
log.Printf("sha256 %s: %v", p, err)
}
}
}
jsonResp(w, http.StatusOK, resp)
}
func (s *Server) clientCatalog(c *Client) (string, error) {
cat, err := catalog.Default()
if err != nil {
return "", err
}
if strings.TrimSpace(c.ConfigYAML) != "" {
over, err := catalog.Parse([]byte(c.ConfigYAML))
if err != nil {
return "", err
}
cat = catalog.Merge(cat, over)
}
if err := cat.Validate(); err != nil {
return "", err
}
data, err := yaml.Marshal(cat)
return string(data), err
}
var partNameRe = regexp.MustCompile(`^[a-zA-Z0-9][a-zA-Z0-9._-]{0,63}$`)
+7
View File
@@ -27,6 +27,13 @@ func newTestServer(t *testing.T) (*Server, *httptest.Server) {
return s, ts
}
func newTestHTTP(t *testing.T, s *Server) string {
t.Helper()
ts := httptest.NewServer(s.Handler())
t.Cleanup(ts.Close)
return ts.URL
}
func call(t *testing.T, method, url, token string, body io.Reader) *http.Response {
t.Helper()
req, err := http.NewRequest(method, url, body)
+5
View File
@@ -2,6 +2,8 @@ package server
import (
"cmp"
"gitea.hsrv.site/mrleo1nid/backup-master/internal/version"
"net/http"
"net/url"
"slices"
@@ -179,6 +181,9 @@ func (s *Server) webClients(w http.ResponseWriter, r *http.Request) {
return
}
v := buildClientsView(q, clients, sizes)
for i := range v.Rows {
v.Rows[i].Outdated = version.ShouldUpdate(s.cfg.Version, v.Rows[i].AgentVersion) && v.Rows[i].AgentVersion != ""
}
s.render(w, r, "clients", map[string]any{"V": v})
}
+63 -15
View File
@@ -1,6 +1,9 @@
package server
import (
"crypto/sha256"
"encoding/hex"
"io"
"net/http"
"os"
"path/filepath"
@@ -8,6 +11,7 @@ import (
"runtime"
"strings"
"text/template"
"time"
)
var agentScript = template.Must(template.New("agent.sh").Parse(`#!/usr/bin/env bash
@@ -143,28 +147,72 @@ func (s *Server) serveRestoreScript(w http.ResponseWriter, r *http.Request) {
var binNameRe = regexp.MustCompile(`^backupctl-linux-(amd64|arm64)$`)
// serveBinary раздаёт backupctl для агентов: из --dist, а для своей архитектуры — сам себя.
func (s *Server) serveBinary(w http.ResponseWriter, r *http.Request) {
name := r.PathValue("file")
m := binNameRe.FindStringSubmatch(name)
if m == nil {
http.NotFound(w, r)
return
// binaryPath возвращает файл backupctl для архитектуры: из --dist, а для своей — сам себя.
func (s *Server) binaryPath(arch string) (string, bool) {
name := "backupctl-linux-" + arch
if !binNameRe.MatchString(name) {
return "", false
}
if s.cfg.DistDir != "" {
p := filepath.Join(s.cfg.DistDir, name)
if _, err := os.Stat(p); err == nil {
w.Header().Set("Content-Type", "application/octet-stream")
http.ServeFile(w, r, p)
return
return p, true
}
}
if runtime.GOOS == "linux" && runtime.GOARCH == m[1] {
if runtime.GOOS == "linux" && runtime.GOARCH == arch {
if self, err := os.Executable(); err == nil && !strings.HasSuffix(self, ".test") {
w.Header().Set("Content-Type", "application/octet-stream")
http.ServeFile(w, r, self)
return
return self, true
}
}
http.Error(w, "бинарник "+name+" не найден: положите его в --dist", http.StatusNotFound)
return "", false
}
type binarySum struct {
size int64
modTime time.Time
sum string
}
// binarySHA256 считает sha256 файла с кэшем по размеру и времени изменения.
func (s *Server) binarySHA256(p string) (string, error) {
fi, err := os.Stat(p)
if err != nil {
return "", err
}
s.shaMu.Lock()
c, ok := s.shaCache[p]
s.shaMu.Unlock()
if ok && c.size == fi.Size() && c.modTime.Equal(fi.ModTime()) {
return c.sum, nil
}
f, err := os.Open(p)
if err != nil {
return "", err
}
defer f.Close()
h := sha256.New()
if _, err := io.Copy(h, f); err != nil {
return "", err
}
sum := hex.EncodeToString(h.Sum(nil))
s.shaMu.Lock()
s.shaCache[p] = binarySum{fi.Size(), fi.ModTime(), sum}
s.shaMu.Unlock()
return sum, nil
}
// serveBinary раздаёт backupctl для агентов.
func (s *Server) serveBinary(w http.ResponseWriter, r *http.Request) {
m := binNameRe.FindStringSubmatch(r.PathValue("file"))
if m == nil {
http.NotFound(w, r)
return
}
p, ok := s.binaryPath(m[1])
if !ok {
http.Error(w, "бинарник "+m[0]+" не найден: положите его в --dist", http.StatusNotFound)
return
}
w.Header().Set("Content-Type", "application/octet-stream")
http.ServeFile(w, r, p)
}
+7 -1
View File
@@ -25,6 +25,8 @@ type Config struct {
MaxUpload int64 // максимальный размер одной части, байт
// TrustProxy — брать IP клиента из X-Forwarded-For (за Caddy).
TrustProxy bool
// Version — версия сервера; до неё обновляются агенты с включённым автообновлением.
Version string
}
type Server struct {
@@ -35,6 +37,9 @@ type Server struct {
uploadMu sync.Mutex
uploads map[int64]bool // бэкапы, в которые сейчас идёт загрузка
shaMu sync.Mutex
shaCache map[string]binarySum // sha256 раздаваемых бинарников
}
func New(cfg Config) (*Server, error) {
@@ -54,7 +59,8 @@ func New(cfg Config) (*Server, error) {
st.Close()
return nil, err
}
return &Server{cfg: cfg, st: st, pages: pages, login: newLoginLimiter(), uploads: map[int64]bool{}}, nil
return &Server{cfg: cfg, st: st, pages: pages, login: newLoginLimiter(), uploads: map[int64]bool{},
shaCache: map[string]binarySum{}}, nil
}
func (s *Server) Close() error { return s.st.Close() }
+45 -5
View File
@@ -94,7 +94,38 @@ func OpenStore(path string) (*Store, error) {
db.Close()
return nil, fmt.Errorf("миграция: %w", err)
}
return &Store{db: db}, nil
st := &Store{db: db}
// колонки, добавленные после первых релизов: у существующих баз их нет
for _, col := range []struct{ table, name, def string }{
{"clients", "auto_update", "INTEGER NOT NULL DEFAULT 1"},
{"clients", "agent_version", "TEXT NOT NULL DEFAULT ''"},
} {
if err := st.ensureColumn(col.table, col.name, col.def); err != nil {
db.Close()
return nil, fmt.Errorf("миграция %s.%s: %w", col.table, col.name, err)
}
}
return st, nil
}
func (s *Store) ensureColumn(table, name, def string) error {
rows, err := s.db.Query(`SELECT name FROM pragma_table_info(?)`, table)
if err != nil {
return err
}
found := false
for rows.Next() {
var n string
if rows.Scan(&n) == nil && n == name {
found = true
}
}
rows.Close()
if found {
return nil
}
_, err = s.db.Exec(fmt.Sprintf(`ALTER TABLE %s ADD COLUMN %s %s`, table, name, def))
return err
}
func (s *Store) Close() error { return s.db.Close() }
@@ -119,17 +150,20 @@ type Client struct {
LastErrorAt int64
StaleNotified bool
Disabled bool
AutoUpdate bool // агент сам обновляется до версии сервера
AgentVersion string // версия агента при последнем обращении
}
const clientCols = `id, name, domain, token_hash, config_yaml, keep_daily, keep_weekly, keep_monthly,
heavy_keep, heavy_every_days, stale_hours, created_at, last_backup_at, last_heavy_at, last_seen_at,
last_error, last_error_at, stale_notified, disabled`
last_error, last_error_at, stale_notified, disabled, auto_update, agent_version`
func scanClient(row interface{ Scan(...any) error }) (*Client, error) {
var c Client
err := row.Scan(&c.ID, &c.Name, &c.Domain, &c.TokenHash, &c.ConfigYAML, &c.KeepDaily, &c.KeepWeekly,
&c.KeepMonthly, &c.HeavyKeep, &c.HeavyEveryDays, &c.StaleHours, &c.CreatedAt, &c.LastBackupAt,
&c.LastHeavyAt, &c.LastSeenAt, &c.LastError, &c.LastErrorAt, &c.StaleNotified, &c.Disabled)
&c.LastHeavyAt, &c.LastSeenAt, &c.LastError, &c.LastErrorAt, &c.StaleNotified, &c.Disabled,
&c.AutoUpdate, &c.AgentVersion)
if errors.Is(err, sql.ErrNoRows) {
return nil, ErrNotFound
}
@@ -172,9 +206,10 @@ func (s *Store) ListClients() ([]*Client, error) {
func (s *Store) UpdateClientSettings(c *Client) error {
_, err := s.db.Exec(`UPDATE clients SET name = ?, config_yaml = ?, keep_daily = ?, keep_weekly = ?,
keep_monthly = ?, heavy_keep = ?, heavy_every_days = ?, stale_hours = ?, disabled = ? WHERE id = ?`,
keep_monthly = ?, heavy_keep = ?, heavy_every_days = ?, stale_hours = ?, disabled = ?, auto_update = ?
WHERE id = ?`,
c.Name, c.ConfigYAML, c.KeepDaily, c.KeepWeekly, c.KeepMonthly, c.HeavyKeep, c.HeavyEveryDays,
c.StaleHours, c.Disabled, c.ID)
c.StaleHours, c.Disabled, c.AutoUpdate, c.ID)
return err
}
@@ -193,6 +228,11 @@ func (s *Store) TouchClient(id int64) error {
return err
}
func (s *Store) SetAgentVersion(id int64, version string) error {
_, err := s.db.Exec(`UPDATE clients SET agent_version = ? WHERE id = ?`, version, id)
return err
}
func (s *Store) MarkClientSuccess(id int64, at int64, heavy bool) error {
q := `UPDATE clients SET last_backup_at = ?1, last_error = '', last_error_at = 0, stale_notified = 0`
if heavy {
+2
View File
@@ -24,6 +24,7 @@
<div><dt>Последний бэкап</dt><dd title="{{ts .Client.LastBackupAt}}">{{ago .Client.LastBackupAt}}</dd></div>
<div><dt>Heavy-части</dt><dd title="{{ts .Client.LastHeavyAt}}">{{ago .Client.LastHeavyAt}}</dd></div>
<div><dt>Агент на связи</dt><dd title="{{ts .Client.LastSeenAt}}">{{ago .Client.LastSeenAt}}</dd></div>
<div><dt>Версия агента</dt><dd>{{with .Client.AgentVersion}}{{.}}{{else}}—{{end}}{{if .AgentOutdated}} <span class="badge stale" title="Сервер {{.ServerVersion}}">{{if .Client.AutoUpdate}}обновится при следующем бэкапе{{else}}устарел, автообновление выключено{{end}}</span>{{end}}</dd></div>
{{with .Latest}}<div><dt>Система</dt><dd>{{.Hostname}}{{with .OS.PrettyName}} · {{.}}{{end}}{{with .OS.Arch}} · {{.}}{{end}}</dd></div>{{end}}
</dl>
@@ -105,6 +106,7 @@
<label>Heavy раз в, дней <input type="number" min="0" name="heavy_every_days" value="{{.Client.HeavyEveryDays}}"></label>
<label>Хранить heavy, шт <input type="number" min="0" name="heavy_keep" value="{{.Client.HeavyKeep}}"></label>
</div>
<label class="check"><input type="checkbox" name="auto_update" value="1" {{if .Client.AutoUpdate}}checked{{end}}> Автообновление агента до версии сервера (перед бэкапом)</label>
<label class="check"><input type="checkbox" name="disabled" value="1" {{if .Client.Disabled}}checked{{end}}> Клиент отключён (агент получает отказ)</label>
<label>Переопределения каталога (YAML)
<textarea name="config_yaml" rows="12" spellcheck="false" placeholder="categories:
+2
View File
@@ -31,6 +31,7 @@
<th><a href="{{$q.SortURL "last_backup"}}" {{if eq $q.Sort "last_backup"}}class="sorted"{{end}}>Последний бэкап {{$q.SortMark "last_backup"}}</a></th>
<th class="num"><a href="{{$q.SortURL "size"}}" {{if eq $q.Sort "size"}}class="sorted"{{end}}>Размер {{$q.SortMark "size"}}</a></th>
<th><a href="{{$q.SortURL "last_seen"}}" {{if eq $q.Sort "last_seen"}}class="sorted"{{end}}>Агент на связи {{$q.SortMark "last_seen"}}</a></th>
<th>Версия</th>
</tr></thead>
<tbody>
{{range $v.Rows}}
@@ -41,6 +42,7 @@
<td title="{{ts .LastBackupAt}}">{{ago .LastBackupAt}}</td>
<td class="num">{{if .LastSize}}{{bytes .LastSize}}{{end}}</td>
<td title="{{ts .LastSeenAt}}">{{ago .LastSeenAt}}</td>
<td>{{if .Outdated}}<span class="badge stale" title="{{if .AutoUpdate}}обновится при следующем бэкапе{{else}}автообновление выключено{{end}}">{{.AgentVersion}}</span>{{else}}<span class="muted small">{{.AgentVersion}}</span>{{end}}</td>
</tr>
{{end}}
</tbody>
+1 -1
View File
@@ -10,7 +10,7 @@
{{if ne .Page "login"}}
<header class="top">
<div class="wrap">
<a class="brand" href="/">backup-master</a>
<a class="brand" href="/">backup-master{{with .ServerVersion}} <span class="muted small">{{.}}</span>{{end}}</a>
<nav>
<a href="/" {{if or (eq .Page "clients") (eq .Page "client") (eq .Page "backup")}}class="active"{{end}}>Клиенты</a>
<a href="/settings" {{if eq .Page "settings"}}class="active"{{end}}>Настройки</a>
+112
View File
@@ -0,0 +1,112 @@
package server
import (
"crypto/sha256"
"database/sql"
"encoding/hex"
"os"
"path/filepath"
"testing"
"gitea.hsrv.site/mrleo1nid/backup-master/internal/catalog"
)
func TestAgentConfigCatalogAndUpdate(t *testing.T) {
dist := t.TempDir()
bin := []byte("fake-backupctl-binary")
if err := os.WriteFile(filepath.Join(dist, "backupctl-linux-amd64"), bin, 0o755); err != nil {
t.Fatal(err)
}
s, err := New(Config{DataDir: t.TempDir(), DistDir: dist, Version: "v0.6.0"})
if err != nil {
t.Fatal(err)
}
defer s.Close()
tok := newToken()
id, err := s.st.CreateClient("x", "x.example.com", hashToken(tok))
if err != nil {
t.Fatal(err)
}
c, _ := s.st.GetClient(id)
if !c.AutoUpdate {
t.Fatal("автообновление должно быть включено по умолчанию")
}
c.ConfigYAML = "categories:\n - {name: scripts, disabled: true}\n"
if err := s.st.UpdateClientSettings(c); err != nil {
t.Fatal(err)
}
ts := newTestHTTP(t, s)
var cfg AgentConfigResponse
decode(t, call(t, "GET", ts+"/api/v1/agent/config?arch=amd64&version=v0.5.0", tok, nil), &cfg)
cat, err := catalog.Parse([]byte(cfg.CatalogYAML))
if err != nil || cat.Validate() != nil {
t.Fatalf("каталог не читается: %v", err)
}
if cat.Find("xui") == nil || !cat.Find("scripts").Disabled {
t.Fatal("в каталоге нет встроенных категорий или переопределений клиента")
}
sum := sha256.Sum256(bin)
if cfg.Update == nil || cfg.Update.Version != "v0.6.0" || cfg.Update.Path != "/dl/backupctl-linux-amd64" || cfg.Update.SHA256 != hex.EncodeToString(sum[:]) {
t.Fatalf("update: %+v", cfg.Update)
}
if c, _ := s.st.GetClient(id); c.AgentVersion != "v0.5.0" {
t.Fatalf("версия агента не записана: %q", c.AgentVersion)
}
// актуальная версия, неизвестная архитектура, выключенное автообновление — без обновления
for _, q := range []string{"arch=amd64&version=v0.6.0", "arch=riscv64&version=v0.5.0"} {
cfg = AgentConfigResponse{}
decode(t, call(t, "GET", ts+"/api/v1/agent/config?"+q, tok, nil), &cfg)
if cfg.Update != nil {
t.Fatalf("%s: обновление не ожидалось", q)
}
}
c, _ = s.st.GetClient(id)
c.AutoUpdate = false
_ = s.st.UpdateClientSettings(c)
cfg = AgentConfigResponse{}
decode(t, call(t, "GET", ts+"/api/v1/agent/config?arch=amd64&version=v0.5.0", tok, nil), &cfg)
if cfg.Update != nil {
t.Fatal("автообновление выключено, а обновление предложено")
}
}
// Базы первых релизов без новых колонок мигрируются при открытии.
func TestStoreMigration(t *testing.T) {
path := filepath.Join(t.TempDir(), "old.db")
db, err := sql.Open("sqlite", "file:"+path)
if err != nil {
t.Fatal(err)
}
_, err = db.Exec(`CREATE TABLE clients (id INTEGER PRIMARY KEY, name TEXT NOT NULL, domain TEXT NOT NULL UNIQUE,
token_hash TEXT NOT NULL UNIQUE, config_yaml TEXT NOT NULL DEFAULT '', keep_daily INTEGER NOT NULL DEFAULT 7,
keep_weekly INTEGER NOT NULL DEFAULT 4, keep_monthly INTEGER NOT NULL DEFAULT 6, heavy_keep INTEGER NOT NULL DEFAULT 1,
heavy_every_days INTEGER NOT NULL DEFAULT 7, stale_hours INTEGER NOT NULL DEFAULT 26, created_at INTEGER NOT NULL,
last_backup_at INTEGER NOT NULL DEFAULT 0, last_heavy_at INTEGER NOT NULL DEFAULT 0, last_seen_at INTEGER NOT NULL DEFAULT 0,
last_error TEXT NOT NULL DEFAULT '', last_error_at INTEGER NOT NULL DEFAULT 0, stale_notified INTEGER NOT NULL DEFAULT 0,
disabled INTEGER NOT NULL DEFAULT 0);
INSERT INTO clients (name, domain, token_hash, created_at) VALUES ('a', 'a.example.com', 'h', 1);`)
if err != nil {
t.Fatal(err)
}
db.Close()
st, err := OpenStore(path)
if err != nil {
t.Fatal(err)
}
defer st.Close()
cs, err := st.ListClients()
if err != nil || len(cs) != 1 || !cs[0].AutoUpdate {
t.Fatalf("после миграции: %v %+v", err, cs)
}
// повторное открытие не падает на уже добавленных колонках
st.Close()
if st2, err := OpenStore(path); err != nil {
t.Fatal(err)
} else {
st2.Close()
}
}
+6 -1
View File
@@ -16,6 +16,7 @@ import (
"gitea.hsrv.site/mrleo1nid/backup-master/internal/catalog"
"gitea.hsrv.site/mrleo1nid/backup-master/internal/manifest"
"gitea.hsrv.site/mrleo1nid/backup-master/internal/version"
)
//go:embed templates/*.html
@@ -95,6 +96,7 @@ func (s *Server) render(w http.ResponseWriter, r *http.Request, page string, dat
data["CSRF"] = csrfFrom(r)
data["Page"] = page
data["PublicURL"] = s.cfg.PublicURL
data["ServerVersion"] = s.cfg.Version
var buf bytes.Buffer
if err := t.Execute(&buf, data); err != nil {
log.Printf("render %s: %v", page, err)
@@ -127,6 +129,7 @@ type clientRow struct {
*Client
StatusClass, StatusText string
LastSize int64
Outdated bool // агент старее сервера
}
func (s *Server) webClientNew(w http.ResponseWriter, r *http.Request) {
@@ -196,7 +199,8 @@ func (s *Server) renderClient(w http.ResponseWriter, r *http.Request, c *Client,
http.Error(w, err.Error(), http.StatusInternalServerError)
return
}
data := map[string]any{"Client": c, "Backups": backups, "Error": formErr}
data := map[string]any{"Client": c, "Backups": backups, "Error": formErr,
"AgentOutdated": c.AgentVersion != "" && version.ShouldUpdate(s.cfg.Version, c.AgentVersion)}
data["StatusClass"], data["StatusText"] = clientStatus(c)
if latest, err := s.st.LatestComplete(c.ID); err == nil {
var m manifest.Manifest
@@ -230,6 +234,7 @@ func (s *Server) webClientSettings(w http.ResponseWriter, r *http.Request) {
c.HeavyEveryDays = formInt(r, "heavy_every_days", c.HeavyEveryDays)
c.StaleHours = formInt(r, "stale_hours", c.StaleHours)
c.Disabled = r.FormValue("disabled") == "1"
c.AutoUpdate = r.FormValue("auto_update") == "1"
if strings.TrimSpace(c.ConfigYAML) != "" {
base, err := catalog.Default()
if err == nil {