diff --git a/README.md b/README.md index 7411a7d..188dcb9 100644 --- a/README.md +++ b/README.md @@ -151,13 +151,16 @@ curl -fsSL https://backup.example.com/restore.sh | sudo bash -s -- --token bm_.. 1. Показывается сводка бэкапа и запрашивается подтверждение. 2. Базовая подготовка системы (`internal/restore/provision.sh`): пользователь с sudo, hostname, fail2ban, UFW, blocklist, SSH hardening. Docker, Caddy и Telegraf ставятся **тех же версий apt-пакетов**, если такие версии ещё есть в репозитории. Спрашиваются только логин и пароль пользователя. -3. Распаковка: файлы ложатся на свои места, docker-тома — прямо в тома. -4. Категории восстанавливаются по порядку: +3. Системные параметры старого сервера: часовой пояс (от него зависит время cron-заданий), swap-файл того же размера, вручную поставленные пакеты (`apt-mark showmanual`), если они есть в репозиториях. +4. Распаковка: файлы ложатся на свои места, docker-тома — прямо в тома. +5. Категории восстанавливаются по порядку: - 3x-ui, Nebula и sing-box ставятся той версии, что была на старом сервере. Если скачать не получилось, используется копия бинарника из бэкапа; - база x-ui кладётся на место; - compose-проекты: образы закрепляются по digest (`compose.restore.yml`), базы поднимаются, в них заливаются дампы, затем запускается весь проект; - - systemd-сервисы включаются и запускаются так, как было на старом сервере. -5. В конце выводятся итог и список того, что осталось сделать: DNS, lighthouse, перезагрузка. + - systemd-сервисы включаются и запускаются так, как было на старом сервере; + - sshd проверяется (`sshd -t`) и перезапускается со старым конфигом и ключами хоста; + - свои systemd-юниты включаются и запускаются как на старом сервере. +6. В конце выводятся итог и список того, что осталось сделать: DNS, lighthouse, перезагрузка. Перезагрузка нужна в том числе для того, чтобы все сервисы перечитали восстановленные конфиги. Флаги: - `--backup ID` — конкретный бэкап; @@ -171,18 +174,32 @@ curl -fsSL https://backup.example.com/restore.sh | sudo bash -s -- --token bm_.. | Категория | Что входит | |---|---| -| system | правила UFW, все crontab (`/var/spool/cron/crontabs`), `ban-blacklist`, `/etc/sysctl.d` | -| xui | `/etc/x-ui` (снимок базы через `VACUUM INTO`, без логина в панель), `/root/cert`, свои geo-файлы `/usr/local/x-ui/bin/*.dat` (ipcheck, discord и т.п., кроме штатных), версия 3x-ui | +| system | весь `/etc/ufw` и `/etc/default/ufw`, все crontab (`/var/spool/cron/crontabs`) и свои файлы `/etc/cron.d`, `/etc/sysctl.conf`, `/etc/sysctl.d`, `/etc/hosts`, `ban.sh` | +| ssh | `sshd_config`, `sshd_config.d`, ключи хоста, `authorized_keys` root и пользователей | +| certs | `/etc/letsencrypt`, `/root/.acme.sh` | +| xui | `/etc/x-ui` (снимок базы через `VACUUM INTO`, без логина в панель), `/root/cert`, свои geo-файлы `/usr/local/x-ui/bin/*.dat` (ipcheck, discord и т.п., кроме штатных), сертификаты по путям из базы (панель, подписка, инбаунды), версия 3x-ui | | fail2ban | `jail.local`, `jail.d/` (в т.ч. `3x-ipl.local`), IP-лимит 3x-ui (`filter.d`/`action.d/3x-ipl.conf`), свои `*.local`; при восстановлении создаются логи `3xipl.log` | | nebula | `/etc/nebula`, юнит, версия | -| caddy | `/etc/caddy`, `/var/www`, сертификаты | -| telegraf | `/etc/telegraf`, sudoers | +| caddy | `/etc/caddy`, `/var/www`, сертификаты; бинарник — если Caddy собран с плагинами | +| telegraf | `/etc/telegraf`, sudoers, `/etc/default/telegraf` | +| docker | `/etc/docker/daemon.json`, логины в registry (`/root/.docker/config.json`) | | sing-box-warp | `/opt/sing-box-warp`, `/etc/sing-box-warp`, юнит, sysctl, версия sing-box-extended | | scripts | `/var/scripts`, `update-geosite.sh` | | pnvpanel | `/opt/PnvPanel` целиком, кроме `pgdata`; `pg_dump`; том `ticket_uploads` | | stoat | `/opt/stoat`, кроме `data/db` и `data/rabbit`; `mongodump`; `data/minio` идёт отдельной heavy-частью раз в неделю | | stoat-mbot | `/opt/stoat-mbot` целиком, восстанавливается после stoat | +| etc | страховка: изменённые конфиги любых пакетов (`dpkg` conffiles) и свои файлы в `/etc`, кроме привязанного к железу и облаку (сеть, диски, cloud-init, apt, загрузчик) | | psiphon | отключён | +| units | свои systemd-юниты (не из пакетов) с состоянием enabled/active и drop-in переопределения `*.service.d` | + +Кроме файлов, в манифест записываются часовой пояс, swap и список вручную поставленных пакетов. + +Агент ищет то, что могло не попасть в бэкап, и показывает это в карточке клиента как предупреждения: +- скрипты из crontab и программы из юнитов, которые не покрыты ни одной категорией; +- каталоги в `/opt` и программы в `/usr/local/bin` и `/usr/local/sbin` без категории; +- контейнеры, запущенные через `docker run`, а не через compose. + +Ненужное убирается глобальным `exclude` в конфиге клиента. Compose-проекты, которых нет в каталоге, находятся автоматически (`docker compose ls`). Они бэкапятся с настройками по умолчанию и помечаются в морде как «авто». Базы распознаются по образу (postgres, mongo, mysql, mariadb) и дампятся без остановки. diff --git a/internal/agent/collect.go b/internal/agent/collect.go index 4e06ed7..e7441d1 100644 --- a/internal/agent/collect.go +++ b/internal/agent/collect.go @@ -93,14 +93,18 @@ func Collect(ctx context.Context, cat *catalog.Config, spool string, heavyDue bo c.plan.Manifest.Parts = []string{manifest.MainPart} c.fillSystem() - var composeSpecs []catalog.Spec + var composeSpecs, unitSpecs []catalog.Spec for _, s := range cat.Categories { if s.Disabled { continue } - if s.Type == catalog.TypeCompose { + switch s.Type { + case catalog.TypeCompose: composeSpecs = append(composeSpecs, s) continue + case catalog.TypeUnits: + unitSpecs = append(unitSpecs, s) // после остальных: им нужно знать, что уже покрыто + continue } mc, err := c.collectSpec(s) if err != nil { @@ -113,7 +117,13 @@ func Collect(ctx context.Context, cat *catalog.Config, spool string, heavyDue bo if err := c.collectCompose(composeSpecs); err != nil { return nil, err } + for _, s := range unitSpecs { + if mc := c.collectUnits(s); mc != nil { + c.plan.Manifest.Categories = append(c.plan.Manifest.Categories, *mc) + } + } c.checkCron() + c.checkCoverage() return c.plan, nil } @@ -139,6 +149,11 @@ func (c *collector) fillSystem() { SSHHardened: sysx.Exists("/etc/ssh/sshd_config.d/00-hardening.conf"), } m.SudoUsers = sysx.GroupMembers("sudo") + m.Timezone = sysx.Timezone(c.ctx) + for p, size := range sysx.SwapFiles() { + m.Swap = append(m.Swap, manifest.SwapFile{Path: p, Size: size}) + } + m.ManualPackages = sysx.ManualPackages(c.ctx) } // collectSpec обрабатывает категории files/systemd/xui. nil — категория неактивна. @@ -162,6 +177,21 @@ func (c *collector) collectSpec(s catalog.Spec) (*manifest.Category, error) { mc.Paths = append(mc.Paths, p) c.add(manifest.MainPart, filesItem(s.Name, p, skip)) } + extra := c.unowned(s.Unowned) + if s.ModifiedConffiles { + extra = append(extra, sysx.ModifiedConffiles(c.ctx)...) + } + if len(extra) > 0 { + covered := c.covered() // то, что уже взяли другие категории, не дублируем + for _, p := range extra { + ps := filepath.ToSlash(p) + if archive.Covers(mc.Paths, ps) || archive.Covers(covered, ps) || skip.Match(ps) { + continue + } + mc.Paths = append(mc.Paths, p) + c.add(manifest.MainPart, filesItem(s.Name, p, skip)) + } + } if s.Type == catalog.TypeXUI { if err := c.snapshotXUI(mc); err != nil { @@ -177,7 +207,11 @@ func (c *collector) collectSpec(s catalog.Spec) (*manifest.Category, error) { return nil, nil } - for _, b := range expandPaths(s.KeepBinaries) { + keepBins := s.KeepBinaries + if s.KeepBinariesIf != "" && sysx.Shell(c.ctx, s.KeepBinariesIf) != nil { + keepBins = nil + } + for _, b := range expandPaths(keepBins) { if sysx.Exists(b) { mc.Binaries = append(mc.Binaries, b) c.add(manifest.MainPart, binItem(s.Name, b)) @@ -186,6 +220,15 @@ func (c *collector) collectSpec(s catalog.Spec) (*manifest.Category, error) { if len(s.VersionCmd) > 0 && sysx.Exists(s.VersionCmd[0]) { mc.Version = c.version(s) } + if mc.Version == "" && s.Service != "" { + // сервис из apt-пакета с тем же именем (caddy, telegraf, docker → docker-ce) + for _, pkg := range []string{s.Service, s.Service + "-ce"} { + if v := c.plan.Manifest.Packages[pkg]; v != "" { + mc.Version = v + break + } + } + } if s.Service != "" && sysx.UnitLoaded(c.ctx, s.Service) { en, ac := sysx.UnitState(c.ctx, s.Service) mc.Service = &manifest.ServiceState{Unit: s.Service, Enabled: en, Active: ac} @@ -250,6 +293,38 @@ func expandPaths(paths []string) []string { return out } +// unowned раскрывает маски и оставляет только обычные файлы, не принадлежащие пакетам. +func (c *collector) unowned(patterns []string) []string { + var files []string + for _, p := range expandPaths(patterns) { + if fi, err := os.Lstat(p); err == nil && fi.Mode().IsRegular() { + files = append(files, p) + } + } + owned := sysx.DpkgOwned(c.ctx, files) + var out []string + for _, f := range files { + if !owned[f] { + out = append(out, f) + } + } + return out +} + +// covered — все пути, которые уже попадают в бэкап (для проверок покрытия). +func (c *collector) covered() []string { + var out []string + for _, mc := range c.plan.Manifest.Categories { + for _, p := range mc.Paths { + out = append(out, filepath.ToSlash(p)) + } + for _, p := range mc.Binaries { + out = append(out, filepath.ToSlash(p)) + } + } + return out +} + func anyExists(paths []string) bool { for _, p := range paths { if sysx.Exists(p) { diff --git a/internal/agent/collect_test.go b/internal/agent/collect_test.go index 06c93f7..8f6908a 100644 --- a/internal/agent/collect_test.go +++ b/internal/agent/collect_test.go @@ -51,3 +51,45 @@ func TestXUIGeoExcludes(t *testing.T) { t.Fatalf("категория fail2ban: %+v", f2b) } } + +func TestUnitExecPaths(t *testing.T) { + f := filepath.Join(t.TempDir(), "x.service") + unit := "[Service]\nExecStartPre=-/opt/app/prepare.sh --x\nExecStart=/usr/local/bin/app run\nExecReload=/bin/kill -HUP $MAINPID\nEnvironment=A=/tmp/x\n" + if err := os.WriteFile(f, []byte(unit), 0o644); err != nil { + t.Fatal(err) + } + got := unitExecPaths(f) + want := []string{"/opt/app/prepare.sh", "/usr/local/bin/app", "/bin/kill"} + if !slices.Equal(got, want) { + t.Fatalf("unitExecPaths = %v, want %v", got, want) + } +} + +func TestEtcCategoryExcludes(t *testing.T) { + cat, err := catalog.Default() + if err != nil { + t.Fatal(err) + } + s := cat.Find("etc") + if s == nil || !s.ModifiedConffiles { + t.Fatal("нет категории etc") + } + skip := archive.NewMatcher(cat.Exclude, s.Exclude) + for p, want := range map[string]bool{ + "/etc/netplan/50-cloud-init.yaml": true, + "/etc/apt/sources.list.d/ubuntu.sources": true, + "/etc/systemd/system/my.service": true, + "/etc/fstab": true, + "/etc/wireguard/wg0.conf": false, + "/etc/nginx/sites-available/site": false, + "/etc/security/limits.conf": false, + "/etc/systemd/journald.conf": false, + } { + if got := skip.Match(p); got != want { + t.Errorf("etc exclude(%s) = %v, want %v", p, got, want) + } + } + if cat.Find("units") == nil || cat.Find("ssh") == nil || cat.Find("docker") == nil { + t.Fatal("нет категорий units/ssh/docker") + } +} diff --git a/internal/agent/units.go b/internal/agent/units.go new file mode 100644 index 0000000..e72e4b1 --- /dev/null +++ b/internal/agent/units.go @@ -0,0 +1,137 @@ +package agent + +import ( + "bufio" + "os" + "path/filepath" + "slices" + "strings" + + "gitea.hsrv.site/mrleo1nid/backup-master/internal/archive" + "gitea.hsrv.site/mrleo1nid/backup-master/internal/catalog" + "gitea.hsrv.site/mrleo1nid/backup-master/internal/manifest" + "gitea.hsrv.site/mrleo1nid/backup-master/internal/sysx" +) + +// collectUnits собирает свои systemd-юниты (не из пакетов и не описанные другими +// категориями) вместе с состоянием enabled/active, а также drop-in каталоги *.d — +// переопределения пакетных юнитов (например, docker.service.d/override.conf). +func (c *collector) collectUnits(s catalog.Spec) *manifest.Category { + mc := &manifest.Category{Name: s.Name, Type: catalog.TypeUnits, PostRestore: s.PostRestore, RestoreAfter: s.RestoreAfter} + covered := c.covered() + services := map[string]bool{} + for _, cat := range c.plan.Manifest.Categories { + if cat.Service != nil { + services[cat.Service.Unit] = true + } + } + skip := archive.NewMatcher(c.cat.Exclude, s.Exclude) + + for _, f := range c.unowned(s.Unowned) { + unit := filepath.Base(f) + name := strings.TrimSuffix(strings.TrimSuffix(unit, ".service"), ".timer") + if archive.Covers(covered, filepath.ToSlash(f)) || services[name] || services[unit] { + continue + } + mc.Paths = append(mc.Paths, f) + c.add(manifest.MainPart, filesItem(s.Name, f, skip)) + st := manifest.ServiceState{Unit: unit} + if sysx.UnitLoaded(c.ctx, unit) { + st.Enabled, st.Active = sysx.UnitState(c.ctx, unit) + } + mc.Units = append(mc.Units, st) + c.checkExec(unit, f, covered) + } + for _, d := range expandPaths(s.Paths) { + if fi, err := os.Stat(d); err != nil || !fi.IsDir() || archive.Covers(covered, filepath.ToSlash(d)) { + continue + } + mc.Paths = append(mc.Paths, d) + c.add(manifest.MainPart, filesItem(s.Name, d, skip)) + } + if len(mc.Paths) == 0 { + return nil + } + return mc +} + +// checkExec предупреждает, если юнит запускает программу, которая не попадает в бэкап +// и не ставится пакетом: после восстановления такой сервис не стартует. +func (c *collector) checkExec(unit, file string, covered []string) { + var missing []string + for _, p := range unitExecPaths(file) { + if archive.Covers(covered, p) || archive.Covers(systemBinDirs, p) || slices.Contains(missing, p) { + continue + } + if !sysx.Exists(p) { + continue + } + if sysx.DpkgOwned(c.ctx, []string{p})[p] { + continue + } + missing = append(missing, p) + } + for _, p := range missing { + c.warn("юнит %s запускает %s, но он не попадает в бэкап — добавьте путь в категорию", unit, p) + } +} + +// unitExecPaths извлекает пути программ из Exec*= строк unit-файла. +func unitExecPaths(file string) []string { + f, err := os.Open(file) + if err != nil { + return nil + } + defer f.Close() + var out []string + sc := bufio.NewScanner(f) + for sc.Scan() { + k, v, ok := strings.Cut(strings.TrimSpace(sc.Text()), "=") + if !ok || !strings.HasPrefix(k, "Exec") { + continue + } + // префиксы systemd: -, @, :, +, ! + v = strings.TrimLeft(strings.TrimSpace(v), "-@:+!") + if fields := strings.Fields(v); len(fields) > 0 && strings.HasPrefix(fields[0], "/") { + out = append(out, fields[0]) + } + } + return out +} + +// checkCoverage ищет типичные места, где лежит что-то своё, не попавшее в бэкап: +// каталоги в /opt, программы в /usr/local/bin и sbin, контейнеры без compose. +func (c *collector) checkCoverage() { + covered := c.covered() + ignore := []string{"/opt/containerd", "/usr/local/bin/backupctl"} + for _, s := range c.cat.Categories { + if s.Disabled && s.Dir != "" { + ignore = append(ignore, filepath.ToSlash(s.Dir)) // отключено сознательно + } + } + check := func(pattern, what string) { + matches, _ := filepath.Glob(pattern) + for _, p := range matches { + ps := filepath.ToSlash(p) + if archive.Covers(covered, ps) || slices.Contains(ignore, ps) || c.global.Match(ps) { + continue + } + c.warn("%s %s не попадает в бэкап — добавьте его в категорию или в глобальный exclude, если он не нужен", what, p) + } + } + check("/opt/*", "каталог") + check("/usr/local/bin/*", "программа") + check("/usr/local/sbin/*", "программа") + + if sysx.HasCommand("docker") { + out, err := sysx.Output(c.ctx, "docker", "ps", "--format", `{{.Names}} {{.Label "com.docker.compose.project"}}`) + if err == nil { + for _, line := range strings.Split(out, "\n") { + name, project, _ := strings.Cut(line, "\t") + if name != "" && project == "" { + c.warn("контейнер %s запущен без docker compose (docker run) — его настройки и данные не бэкапятся", name) + } + } + } + } +} diff --git a/internal/agent/xui.go b/internal/agent/xui.go index 1915c32..e52d478 100644 --- a/internal/agent/xui.go +++ b/internal/agent/xui.go @@ -5,9 +5,12 @@ import ( "fmt" "os" "path/filepath" + "regexp" "strings" + "gitea.hsrv.site/mrleo1nid/backup-master/internal/archive" "gitea.hsrv.site/mrleo1nid/backup-master/internal/manifest" + "gitea.hsrv.site/mrleo1nid/backup-master/internal/sysx" _ "modernc.org/sqlite" ) @@ -32,9 +35,63 @@ func (c *collector) snapshotXUI(mc *manifest.Category) error { } mc.Dumps = append(mc.Dumps, manifest.Dump{Name: "x-ui.db", Kind: "sqlite", Target: xuiDB}) c.add(manifest.MainPart, dumpItem(mc.Name, out, "x-ui.db")) + + // сертификаты панели, подписки и инбаундов могут лежать где угодно — берём пути из базы + for _, p := range xuiCertPaths(out) { + if !sysx.Exists(p) { + c.warn("xui: в настройках указан %s, но файла нет", p) + continue + } + if archive.Covers(mc.Paths, filepath.ToSlash(p)) { + continue + } + mc.Paths = append(mc.Paths, p) + c.add(manifest.MainPart, filesItem(mc.Name, p, nil)) + } return nil } +var certFileRe = regexp.MustCompile(`"(?:certificateFile|keyFile)"\s*:\s*"([^"]+)"`) + +// xuiCertPaths читает из снимка базы 3x-ui пути к сертификатам и ключам. +func xuiCertPaths(dbPath string) []string { + db, err := sql.Open("sqlite", "file:"+dbPath+"?mode=ro") + if err != nil { + return nil + } + defer db.Close() + seen := map[string]bool{} + var out []string + addPath := func(p string) { + p = strings.TrimSpace(p) + if strings.HasPrefix(p, "/") && !seen[p] { + seen[p] = true + out = append(out, p) + } + } + if rows, err := db.Query(`SELECT value FROM settings WHERE key IN ('webCertFile','webKeyFile','subCertFile','subKeyFile')`); err == nil { + for rows.Next() { + var v string + if rows.Scan(&v) == nil { + addPath(v) + } + } + rows.Close() + } + if rows, err := db.Query(`SELECT stream_settings FROM inbounds`); err == nil { + for rows.Next() { + var v string + if rows.Scan(&v) == nil { + for _, m := range certFileRe.FindAllStringSubmatch(v, -1) { + addPath(m[1]) + } + } + } + rows.Close() + } + return out +} + func vacuumInto(src, dst string) error { _ = os.Remove(dst) db, err := sql.Open("sqlite", "file:"+src+"?_pragma=busy_timeout(10000)") diff --git a/internal/catalog/catalog.go b/internal/catalog/catalog.go index 9d6c778..eb8573a 100644 --- a/internal/catalog/catalog.go +++ b/internal/catalog/catalog.go @@ -17,6 +17,8 @@ const ( TypeSystemd = "systemd" TypeXUI = "xui" TypeCompose = "compose" + // TypeUnits — свои systemd-юниты (не из пакетов) с состоянием enabled/active. + TypeUnits = "units" ) type Config struct { @@ -33,15 +35,23 @@ type Spec struct { Detect []string `yaml:"detect,omitempty"` // категория активна, если существует хоть один путь Paths []string `yaml:"paths,omitempty"` Exclude []string `yaml:"exclude,omitempty"` + // Unowned — маски файлов, которые берутся, только если они не принадлежат + // ни одному пакету (dpkg -S): свои файлы в /etc/cron.d, /etc/systemd/system и т.п. + Unowned []string `yaml:"unowned,omitempty"` + // ModifiedConffiles — добавить конфиги пакетов, изменённые относительно поставки. + ModifiedConffiles bool `yaml:"modified_conffiles,omitempty"` - Service string `yaml:"service,omitempty"` - VersionCmd []string `yaml:"version_cmd,omitempty"` - VersionRegex string `yaml:"version_regex,omitempty"` - Install string `yaml:"install,omitempty"` // recipe: nebula, xui, sing-box-extended - KeepBinaries []string `yaml:"keep_binaries,omitempty"` // fallback-копии бинарников - EnsureDirs []string `yaml:"ensure_dirs,omitempty"` - PostRestore []string `yaml:"post_restore,omitempty"` - Dumps []CmdDump `yaml:"dumps,omitempty"` + Service string `yaml:"service,omitempty"` + VersionCmd []string `yaml:"version_cmd,omitempty"` + VersionRegex string `yaml:"version_regex,omitempty"` + Install string `yaml:"install,omitempty"` // recipe: nebula, xui, sing-box-extended + KeepBinaries []string `yaml:"keep_binaries,omitempty"` // fallback-копии бинарников + // KeepBinariesIf — shell-условие: keep_binaries берутся, только если оно истинно + // (например, Caddy собран с плагинами и из apt его не вернуть). + KeepBinariesIf string `yaml:"keep_binaries_if,omitempty"` + EnsureDirs []string `yaml:"ensure_dirs,omitempty"` + PostRestore []string `yaml:"post_restore,omitempty"` + Dumps []CmdDump `yaml:"dumps,omitempty"` // compose Dir string `yaml:"dir,omitempty"` @@ -127,7 +137,7 @@ func (c *Config) Validate() error { continue } switch s.Type { - case TypeFiles, TypeSystemd, TypeXUI: + case TypeFiles, TypeSystemd, TypeXUI, TypeUnits: case TypeCompose: if s.Dir == "" && s.Project == "" { return fmt.Errorf("категория %q: для compose нужен dir или project", s.Name) diff --git a/internal/catalog/default.yaml b/internal/catalog/default.yaml index 3034b95..fe7c247 100644 --- a/internal/catalog/default.yaml +++ b/internal/catalog/default.yaml @@ -10,16 +10,38 @@ categories: - name: system type: files paths: - - /etc/ufw/user.rules - - /etc/ufw/user6.rules - - /var/spool/cron/crontabs - - /etc/cron.d/ban-blacklist + - /etc/ufw # правила, before/after.rules (NAT, форвардинг), /etc/ufw/sysctl.conf + - /etc/default/ufw + - /var/spool/cron/crontabs # crontab root (sudo crontab -e) и пользователей - /usr/local/sbin/ban.sh + - /etc/sysctl.conf # BBR, форвардинг и прочие правки ядра - /etc/sysctl.d + - /etc/hosts + # свои задания в /etc/cron.d (пакетные пропускаются) + unowned: ["/etc/cron.d/*"] post_restore: - "ufw reload || true" - "sysctl --system >/dev/null || true" + # SSH: ключи входа, ключи хоста (клиенты не увидят «host key changed») и конфиг sshd + # (порт, запрет паролей). После распаковки sshd проверяется и перезапускается. + - name: ssh + type: files + paths: + - /etc/ssh/sshd_config + - /etc/ssh/sshd_config.d + - /etc/ssh/ssh_host_* + - /root/.ssh/authorized_keys + - /home/*/.ssh/authorized_keys + restore_after: [system] + post_restore: + - "sshd -t && systemctl daemon-reload && (systemctl restart ssh.socket 2>/dev/null; systemctl restart ssh) || echo '!!! sshd: конфиг не прошёл проверку, оставлен старый процесс — проверьте sshd -t'" + + # сертификаты, выпущенные вне Caddy: certbot и acme.sh (его использует x-ui для SSL панели) + - name: certs + type: files + paths: [/etc/letsencrypt, /root/.acme.sh] + - name: xui type: xui detect: [/usr/local/x-ui/x-ui] @@ -75,13 +97,22 @@ categories: detect: [/etc/caddy/Caddyfile] paths: [/etc/caddy, /var/www, /var/lib/caddy/.local/share/caddy] service: caddy + # Caddy с плагинами (xcaddy, caddy add-package) из apt не вернуть — тогда бэкапим бинарник + keep_binaries: [/usr/bin/caddy] + keep_binaries_if: "caddy list-modules --packages 2>/dev/null | grep -Eq 'Non-standard modules: [1-9]'" - name: telegraf type: systemd detect: [/etc/telegraf] - paths: [/etc/telegraf, /etc/sudoers.d/telegraf] + paths: [/etc/telegraf, /etc/sudoers.d/telegraf, /etc/default/telegraf] service: telegraf + # настройки демона docker (логи, MTU, IPv6) и логины в приватные registry + - name: docker + type: systemd + paths: [/etc/docker/daemon.json, /root/.docker/config.json] + service: docker + - name: sing-box-warp type: systemd detect: [/opt/sing-box-warp] @@ -101,6 +132,43 @@ categories: type: files paths: [/var/scripts, /usr/local/bin/update-geosite.sh] + # Страховка: всё своё в /etc, не описанное выше, — изменённые конфиги любых пакетов + # (dpkg conffiles: nginx, limits.conf, journald и т.п.) и файлы, не принадлежащие + # ни одному пакету (ключи wireguard, свои конфиги). Привязанное к железу и облаку + # (сеть, диски, cloud-init, зеркала apt, загрузчик) исключено — на новом VPS оно своё. + - name: etc + type: files + modified_conffiles: true + unowned: ["/etc/*/*", "/etc/*/*/*"] + exclude: + - /etc/netplan + - /etc/network + - /etc/NetworkManager + - /etc/systemd/network + - /etc/systemd/system # юниты собирает категория units + - /etc/cloud + - /etc/landscape + - /etc/ubuntu-advantage + - /etc/apt + - /etc/udev + - /etc/fstab + - /etc/default/grub + - /etc/default/grub.d + - /etc/initramfs-tools + - /etc/iscsi + - /etc/lvm + - /etc/mdadm + - /etc/multipath + - /etc/dhcp + - /etc/alternatives + - /etc/apparmor.d/cache + - /etc/ssl/certs + - /etc/ssl/private/ssl-cert-snakeoil.key + - /etc/sudoers.d/90-cloud-init-users + - /etc/machine-id + - /etc/hostname + - /etc/resolv.conf + - name: pnvpanel type: compose dir: /opt/PnvPanel @@ -120,3 +188,10 @@ categories: type: compose dir: /opt/psiphon disabled: true + + # Свои systemd-юниты, не описанные выше и не из пакетов, — с состоянием enabled/active, + # и drop-in переопределения пакетных юнитов (*.service.d/override.conf). + - name: units + type: units + unowned: ["/etc/systemd/system/*.service", "/etc/systemd/system/*.timer"] + paths: ["/etc/systemd/system/*.service.d", "/etc/systemd/system/*.timer.d"] diff --git a/internal/manifest/manifest.go b/internal/manifest/manifest.go index d583f44..8cbae03 100644 --- a/internal/manifest/manifest.go +++ b/internal/manifest/manifest.go @@ -20,9 +20,13 @@ type Manifest struct { Packages map[string]string `json:"packages,omitempty"` // apt-пакет → точная версия dpkg Features Features `json:"features"` SudoUsers []string `json:"sudo_users,omitempty"` - Categories []Category `json:"categories"` - Parts []string `json:"parts"` // main + heavy-части, вошедшие в этот бэкап - Warnings []string `json:"warnings,omitempty"` + Timezone string `json:"timezone,omitempty"` + Swap []SwapFile `json:"swap,omitempty"` + // ManualPackages — пакеты, поставленные вручную (apt-mark showmanual): restore доставит недостающие. + ManualPackages []string `json:"manual_packages,omitempty"` + Categories []Category `json:"categories"` + Parts []string `json:"parts"` // main + heavy-части, вошедшие в этот бэкап + Warnings []string `json:"warnings,omitempty"` } type OSInfo struct { @@ -39,22 +43,28 @@ type Features struct { } type Category struct { - Name string `json:"name"` - Type string `json:"type"` - Auto bool `json:"auto,omitempty"` // найдена автоматически, в каталоге не описана - Version string `json:"version,omitempty"` - Install string `json:"install,omitempty"` // recipe установки бинарника - Service *ServiceState `json:"service,omitempty"` - Paths []string `json:"paths,omitempty"` // абсолютные пути в /files/ - Binaries []string `json:"binaries,omitempty"` // абсолютные пути в /bin/ (fallback) - Dumps []Dump `json:"dumps,omitempty"` - Volumes []Volume `json:"volumes,omitempty"` - Heavy []string `json:"heavy,omitempty"` // пути, ушедшие в отдельную часть - HeavySkipped bool `json:"heavy_skipped,omitempty"` - Compose *Compose `json:"compose,omitempty"` - EnsureDirs []string `json:"ensure_dirs,omitempty"` - PostRestore []string `json:"post_restore,omitempty"` - RestoreAfter []string `json:"restore_after,omitempty"` + Name string `json:"name"` + Type string `json:"type"` + Auto bool `json:"auto,omitempty"` // найдена автоматически, в каталоге не описана + Version string `json:"version,omitempty"` + Install string `json:"install,omitempty"` // recipe установки бинарника + Service *ServiceState `json:"service,omitempty"` + Units []ServiceState `json:"units,omitempty"` // тип units: свои systemd-юниты и их состояние + Paths []string `json:"paths,omitempty"` // абсолютные пути в /files/ + Binaries []string `json:"binaries,omitempty"` // абсолютные пути в /bin/ (fallback) + Dumps []Dump `json:"dumps,omitempty"` + Volumes []Volume `json:"volumes,omitempty"` + Heavy []string `json:"heavy,omitempty"` // пути, ушедшие в отдельную часть + HeavySkipped bool `json:"heavy_skipped,omitempty"` + Compose *Compose `json:"compose,omitempty"` + EnsureDirs []string `json:"ensure_dirs,omitempty"` + PostRestore []string `json:"post_restore,omitempty"` + RestoreAfter []string `json:"restore_after,omitempty"` +} + +type SwapFile struct { + Path string `json:"path"` + Size int64 `json:"size"` // байт } type ServiceState struct { diff --git a/internal/restore/restore.go b/internal/restore/restore.go index 8e75ddd..5d58483 100644 --- a/internal/restore/restore.go +++ b/internal/restore/restore.go @@ -106,6 +106,7 @@ func Run(ctx context.Context, opts Options) error { return fmt.Errorf("подготовка сервера: %w", err) } } + r.restoreSystem() if err := r.prepareVolumes(); err != nil { return err } @@ -403,6 +404,13 @@ func (r *restorer) restoreCategory(c manifest.Category) error { if err := r.restoreCompose(c); err != nil { return err } + case catalog.TypeUnits: + _ = sysx.Run(r.ctx, "systemctl", "daemon-reload") + for i := range c.Units { + if err := r.applyService(&c.Units[i]); err != nil { + r.warn("%s: %v", c.Name, err) + } + } } if c.Name == "system" { r.fixCrontabs() diff --git a/internal/restore/system.go b/internal/restore/system.go new file mode 100644 index 0000000..e89fabf --- /dev/null +++ b/internal/restore/system.go @@ -0,0 +1,113 @@ +package restore + +import ( + "fmt" + "os" + "regexp" + "strings" + + "gitea.hsrv.site/mrleo1nid/backup-master/internal/sysx" +) + +// restoreSystem повторяет системные параметры старого сервера: часовой пояс +// (от него зависит время cron-заданий), swap-файл и вручную поставленные пакеты. +func (r *restorer) restoreSystem() { + step("Системные параметры") + r.restoreTimezone() + r.restoreSwap() + r.restorePackages() +} + +func (r *restorer) restoreTimezone() { + tz := r.m.Timezone + if tz == "" { + return + } + if cur := sysx.Timezone(r.ctx); cur == tz { + info("часовой пояс %s — как на старом сервере", tz) + return + } + if err := sysx.Run(r.ctx, "timedatectl", "set-timezone", tz); err != nil { + r.warn("часовой пояс %s не установлен: %v", tz, err) + return + } + info("часовой пояс: %s", tz) +} + +func (r *restorer) restoreSwap() { + if len(r.m.Swap) == 0 { + return + } + if len(sysx.SwapFiles()) > 0 { + info("swap уже есть — не трогаю") + return + } + if out, _ := sysx.Output(r.ctx, "swapon", "--show", "--noheadings"); out != "" { + info("swap уже есть (раздел) — не трогаю") + return + } + for _, sw := range r.m.Swap { + if sysx.Exists(sw.Path) { + r.warn("swap: %s уже существует, но не подключён — пропускаю", sw.Path) + continue + } + mb := sw.Size / (1 << 20) + script := fmt.Sprintf(`set -e +fallocate -l %dM %[2]q || dd if=/dev/zero of=%[2]q bs=1M count=%[1]d status=none +chmod 600 %[2]q +mkswap %[2]q >/dev/null +swapon %[2]q +grep -qF %[2]q /etc/fstab || echo %[3]q >> /etc/fstab`, mb, sw.Path, sw.Path+" none swap sw 0 0") + if err := sysx.Shell(r.ctx, script); err != nil { + r.warn("swap %s: %v", sw.Path, err) + continue + } + info("swap %s, %d МБ", sw.Path, mb) + } +} + +// Пакеты ядра конкретных версий и метапакеты облачных образов ставить не нужно. +var skipPackageRe = regexp.MustCompile(`^linux-(image|headers|modules|tools|cloud-tools|hwe)-\d|^linux-(image|headers|modules)-extra`) + +func (r *restorer) restorePackages() { + if len(r.m.ManualPackages) == 0 { + return + } + installed := map[string]bool{} + if out, err := sysx.Output(r.ctx, "dpkg-query", "-W", "-f=${Package} ${db:Status-Status}\n"); err == nil { + for _, line := range strings.Split(out, "\n") { + if name, st, ok := strings.Cut(line, " "); ok && st == "installed" { + installed[name] = true + } + } + } + available := map[string]bool{} + if out, err := sysx.Output(r.ctx, "apt-cache", "pkgnames"); err == nil { + for _, n := range strings.Fields(out) { + available[n] = true + } + } + var install, missing []string + for _, p := range r.m.ManualPackages { + name, _, _ := strings.Cut(p, ":") // pkg:amd64 + if installed[name] || skipPackageRe.MatchString(name) { + continue + } + if available[name] { + install = append(install, name) + } else { + missing = append(missing, name) + } + } + if len(install) > 0 { + info("доустанавливаю пакеты со старого сервера: %s", strings.Join(install, " ")) + _ = os.Setenv("DEBIAN_FRONTEND", "noninteractive") + args := append([]string{"install", "-y", "-q", "-o", "Dpkg::Options::=--force-confdef", "-o", "Dpkg::Options::=--force-confold"}, install...) + if err := sysx.Run(r.ctx, "apt-get", args...); err != nil { + r.warn("часть пакетов не установилась: %v", err) + } + } + if len(missing) > 0 { + r.warn("пакетов нет в репозиториях этого сервера (ставились из своих репозиториев или .deb): %s", strings.Join(missing, " ")) + } +} diff --git a/internal/server/templates/client.html b/internal/server/templates/client.html index 68cfd58..03bf1a3 100644 --- a/internal/server/templates/client.html +++ b/internal/server/templates/client.html @@ -40,7 +40,8 @@ {{.Version}}{{with .Compose}}{{with .Git}}git {{printf "%.8s" .Commit}}{{if .Dirty}}*{{end}}{{end}}{{end}} {{with .Service}}{{.Unit}} {{if .Active}}active{{else}}inactive{{end}}{{if not .Enabled}} (disabled){{end}}{{end}} - {{if .Paths}}{{join .Paths ", "}}{{end}} + {{if .Paths}}{{short .Paths 8}}{{end}} + {{range .Units}}
юнит {{.Unit}}{{if .Enabled}} enabled{{end}}{{if .Active}} active{{end}}{{end}} {{range .Dumps}}
дамп {{.Kind}}{{with .Service}} ({{.}}){{end}}{{end}} {{range .Volumes}}
том {{.Name}}{{end}} {{if .Heavy}}
heavy: {{join .Heavy ", "}}{{if .HeavySkipped}} (не в этот раз){{end}}{{end}} diff --git a/internal/server/web.go b/internal/server/web.go index 0c18d17..e049e5d 100644 --- a/internal/server/web.go +++ b/internal/server/web.go @@ -54,6 +54,13 @@ var funcs = template.FuncMap{ }, "bytes": humanBytes, "join": strings.Join, + // short — первые n путей и «ещё N», чтобы категория etc не растягивала таблицу + "short": func(paths []string, n int) string { + if len(paths) <= n { + return strings.Join(paths, ", ") + } + return strings.Join(paths[:n], ", ") + fmt.Sprintf(" и ещё %d", len(paths)-n) + }, } func loadPages() (map[string]*pageTemplate, error) { diff --git a/internal/sysx/sysx.go b/internal/sysx/sysx.go index e9e3b51..e67cb3b 100644 --- a/internal/sysx/sysx.go +++ b/internal/sysx/sysx.go @@ -5,6 +5,8 @@ import ( "bufio" "bytes" "context" + "crypto/md5" + "encoding/hex" "fmt" "io" "os" @@ -162,3 +164,117 @@ func GroupMembers(group string) []string { } return nil } + +// DpkgOwned возвращает множество путей, принадлежащих какому-либо пакету (dpkg -S). +// Без dpkg (не Debian/Ubuntu) считает все пути своими — ничего не теряется. +func DpkgOwned(ctx context.Context, paths []string) map[string]bool { + owned := map[string]bool{} + if len(paths) == 0 || !HasCommand("dpkg") { + return owned + } + cmd := exec.CommandContext(ctx, "dpkg", append([]string{"-S"}, paths...)...) + out, _ := cmd.Output() // код возврата 1, если хоть один путь ничей, — это нормально + return ParseDpkgS(string(out), paths) +} + +// ParseDpkgS разбирает вывод `dpkg -S`: "pkg1, pkg2: /path" или "diversion by ...". +func ParseDpkgS(out string, paths []string) map[string]bool { + want := map[string]bool{} + for _, p := range paths { + want[p] = true + } + owned := map[string]bool{} + for _, line := range strings.Split(out, "\n") { + if strings.HasPrefix(line, "diversion ") { + continue + } + _, p, ok := strings.Cut(line, ": ") + if p = strings.TrimSpace(p); ok && want[p] { + owned[p] = true + } + } + return owned +} + +// Timezone возвращает часовой пояс системы (Europe/Moscow) или "". +func Timezone(ctx context.Context) string { + if tz, err := Output(ctx, "timedatectl", "show", "-p", "Timezone", "--value"); err == nil && tz != "" { + return tz + } + if link, err := os.Readlink("/etc/localtime"); err == nil { + if _, tz, ok := strings.Cut(link, "zoneinfo/"); ok { + return tz + } + } + return "" +} + +// SwapFiles возвращает swap-файлы (не разделы) из /proc/swaps: путь и размер в байтах. +func SwapFiles() map[string]int64 { + out := map[string]int64{} + data, err := os.ReadFile("/proc/swaps") + if err != nil { + return out + } + for _, line := range strings.Split(string(data), "\n")[1:] { + f := strings.Fields(line) + if len(f) < 3 || f[1] != "file" { + continue + } + var kb int64 + fmt.Sscan(f[2], &kb) + out[f[0]] = kb * 1024 + } + return out +} + +// ManualPackages — пакеты, поставленные вручную (apt-mark showmanual). +func ManualPackages(ctx context.Context) []string { + out, err := Output(ctx, "apt-mark", "showmanual") + if err != nil { + return nil + } + return strings.Fields(out) +} + +// ModifiedConffiles возвращает конфиги пакетов (conffiles), изменённые относительно +// поставки: md5 файла не совпадает с записанным dpkg. +func ModifiedConffiles(ctx context.Context) []string { + out, err := Output(ctx, "dpkg-query", "-W", `-f=${Conffiles}\n`) + if err != nil { + return nil + } + return modifiedConffiles(out, fileMD5) +} + +func modifiedConffiles(out string, sum func(string) string) []string { + var res []string + seen := map[string]bool{} + for _, line := range strings.Split(out, "\n") { + f := strings.Fields(line) + if len(f) < 2 || !strings.HasPrefix(f[0], "/") || seen[f[0]] { + continue + } + if len(f) > 2 && (f[2] == "obsolete" || f[2] == "remove-on-upgrade") { + continue + } + seen[f[0]] = true + if s := sum(f[0]); s != "" && s != f[1] { + res = append(res, f[0]) + } + } + return res +} + +func fileMD5(p string) string { + f, err := os.Open(p) + if err != nil { + return "" + } + defer f.Close() + h := md5.New() + if _, err := io.Copy(h, f); err != nil { + return "" + } + return hex.EncodeToString(h.Sum(nil)) +} diff --git a/internal/sysx/sysx_test.go b/internal/sysx/sysx_test.go new file mode 100644 index 0000000..4d611b9 --- /dev/null +++ b/internal/sysx/sysx_test.go @@ -0,0 +1,34 @@ +package sysx + +import ( + "slices" + "testing" +) + +func TestParseDpkgS(t *testing.T) { + out := "openssh-server: /etc/ssh/sshd_config\n" + + "diversion by foo from: /usr/bin/caddy\n" + + "cron, cron-daemon-common: /etc/cron.d/e2scrub_all\n" + paths := []string{"/etc/ssh/sshd_config", "/etc/cron.d/e2scrub_all", "/etc/cron.d/ban-blacklist"} + owned := ParseDpkgS(out, paths) + if !owned["/etc/ssh/sshd_config"] || !owned["/etc/cron.d/e2scrub_all"] || owned["/etc/cron.d/ban-blacklist"] { + t.Fatalf("owned = %v", owned) + } +} + +func TestModifiedConffiles(t *testing.T) { + out := " /etc/ssh/sshd_config aaa\n" + + " /etc/fail2ban/fail2ban.conf bbb\n" + + " /etc/old.conf ccc obsolete\n" + + " /etc/missing.conf ddd\n" + + "\n" + sums := map[string]string{ + "/etc/ssh/sshd_config": "aaa", // не менялся + "/etc/fail2ban/fail2ban.conf": "changed", // изменён + "/etc/old.conf": "x", // obsolete — пропускаем + } + got := modifiedConffiles(out, func(p string) string { return sums[p] }) + if !slices.Equal(got, []string{"/etc/fail2ban/fail2ban.conf"}) { + t.Fatalf("modified = %v", got) + } +}