Files
luci-app-owrt-remote/docs/VPS_LOG_MAINTENANCE.md
T

241 lines
20 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Обслуживание журналов VPS
Исправление для v121. Оно меняет только HTTP-логирование Hub,
ротацию журналов и обслуживание диска. API, авторизация, Xray, heartbeat,
база данных и архивы журналов роутеров остаются в прежнем формате.
## Причина
`Handler.log_message()` фильтровал успешные long-poll и чтение SSH-терминала,
но записывал каждый успешный heartbeat и пакет `/api/router-logs`.
При большом количестве роутеров эти записи попадали в journald/syslog и Nginx.
Старая настройка Nginx могла добавлять второй `access_log`, сохраняя первый
без фильтра. Установщик также создавал правило `/etc/logrotate.d/owrt-remote`
для тех же файлов Nginx, которые уже обслуживает пакет Nginx.
Частота SSH-перебора на рабочем VPS этим локальным тестом не установлена:
доступ к серверу и чтение его журналов не выполнялись.
## Что установлено
- Hub и стандартный `/var/log/nginx/access.log` пропускают успешные 2xx/3xx
для `/api/heartbeat`, `/api/router-logs`, `/api/notifications/wait` и
`/api/ssh-session/*/read`. HTTP 4xx/5xx, исключения и остальные действия
продолжают записываться. Содержимое доставленных журналов не фильтруется.
- Единственный планировщик — штатный `logrotate.timer`, ежедневно в **03:20
по часовому поясу VPS**. `Persistent=true` запускает пропущенную задачу после
включения сервера. Отдельного cron или второго таймера нет.
- Штатные правила `/etc/logrotate.conf` и `/etc/logrotate.d/` сохраняют права,
владельцев и команды повторного открытия файлов Nginx/rsyslog. Временная
конфигурация добавляет `daily`, `maxsize 20M`, `rotate 1`, `maxage 1`,
`compress`, `nodelaycompress`. Активные журналы через `rm` не удаляются.
- Старые распознанные архивы настроенных журналов удаляются после 24 часов.
Очистка не представляет собой удаление всех `*.gz` на сервере: проверяются
имена архивов конкретных логов, тип файла, ссылки и открытые дескрипторы.
- journald: `SystemMaxUse=50M`, `SystemKeepFree=500M`, `MaxRetentionSec=7day`,
`Compress=yes`, файлы до 10 МиБ. Для непостоянного журнала задано 16 МиБ.
Ежедневно выполняются `journalctl --rotate` и очистка архивов старше суток
с ограничением 50 МиБ. Поэтому ежедневная политика строже предела 7 дней.
- Проверяются `/` и `/var/log`: предупреждение выше 75%, усиленная очистка
**закрытых архивов** выше 85%, критическое сообщение выше 90%. При усиленной
очистке допустимо удалить также свежие архивы, journald сокращается до 10 МиБ.
- Результат: `/var/lib/owrt-remote-log-maintenance/result.json`; собственный
журнал `/var/log/owrt-remote-maintenance.log` — до 64 КиБ плюс один архив
до 64 КиБ. Права состояния и резервных копий ограничены root.
- `flock` исключает параллельные обслуживание/установку/откат. Используется
также штатная блокировка состояния logrotate. Маркер попытки записывается
до работы; автоматический повтор в тот же день пропускается даже после
ошибки. Явный `Run` нужен для повторной попытки после исправления причины.
`maxsize` проверяется при запуске logrotate, а не непрерывно. Ежедневная
задача не гарантирует, что сторонний сервис не заполнит диск между запусками.
Лимиты journald не ограничивают размер базы Hub или пользовательских файлов.
## Установка подготовленной версии
PowerShell Windows 11:
```powershell
$Fix = "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-log-maintenance.ps1"
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Install
```
Нужны Python 3, systemd, journald и установленный `logrotate`. Если последнего
нет, скрипт сообщит об этом до изменения конфигурации:
```powershell
ssh root@132.243.19.232 'apt-get update && apt-get install -y logrotate'
```
Установка сохраняет исходные файлы, проверяет Python, Nginx, systemd и
`logrotate --debug`. При ошибке применения возвращает конфигурацию из копии.
Hub перезапускается; проверяется SHA256 именно запущенной сборки через `/health`.
Затем выполняется первое обслуживание. Если оно завершилось ошибкой,
изучить её и выполнить `Run` либо `Rollback`; уже удалённые архивы не вернуть.
Повторный `Install` обновляет исправление, сохраняя первую резервную копию.
Основной `install-vps.sh` также подключает этот механизм после настройки HTTPS,
когда конфигурация Nginx уже существует. Для полного обновления существующего
VPS через GitHub с сохранением текущего логина выполнить на самом VPS:
```sh
curl -fsSL "https://raw.githubusercontent.com/kzolotarev95/luci-app-owrt-remote/main/vps/install-vps.sh?v=$(date +%s)" | sudo env RESET_LOGIN=0 sh
```
**Кнопка «Обновление панели» также устанавливает обслуживание журналов.**
Скрипт включён в сборку Hub в сжатом виде и проверяется по SHA256; отдельная
загрузка скрипта при нажатии кнопки не требуется. Если отсутствует `logrotate`,
выполняется ограниченная по времени установка пакета через apt-get с имеющимися
индексами. Ошибка зависимости отображается как ошибка обновления.
Для каждой установки создаётся отдельная копия настроек. Проверяются Nginx,
journald, ротация и активность таймера. Успех подтверждается только после
успешного обслуживания за текущие сутки; повторной ротации в те же сутки нет.
При отказе настройки возвращаются из копии текущего обновления. При отказе
новой сборки Hub возвращается и предыдущий файл Hub. Хранятся копии настроек
двух последних обновлений; база и данные роутеров в эти копии не входят.
Первый переход со старой сборки поддерживается: старый обработчик заменяет
файл, а запущенный новый Hub завершает установку обслуживания, прежде чем
подтверждает готовность через проверку сборки. Обычный `/health`, heartbeat и
API роутеров продолжают работать. Нестандартная конфигурация вызывает ошибку
с причиной и откат, а не ложное сообщение об успехе.
Если после нажатия кнопки страница продолжает показывать прежнюю сборку,
обновить её через Ctrl+F5. Номер версии остаётся v121; новая сборка определяется
по SHA256. Отдельные команды установки выше сохраняются для ручного применения.
Нестандартные правила с целями вне `/var/log`, `olddir`, неоднозначным синтаксисом
или пользовательским условием `access_log if=...` требуют ручного рассмотрения.
Установка остановится с причиной, не выполняя опасную очистку. Иные назначения
access_log, например отдельные пользовательские файлы, автоматически не меняются.
## Проверка и ручной запуск
```powershell
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Status
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Run
ssh root@132.243.19.232 'systemctl list-timers logrotate.timer --no-pager; journalctl -u logrotate.service -n 50 --no-pager; tail -n 20 /var/log/owrt-remote-maintenance.log; journalctl --disk-usage; nginx -t; systemctl is-active owrt-remote nginx rsyslog systemd-journald'
```
`Run` принудительно запускает ротацию повторно; для обычной проверки достаточно
`Status`. Не применять `Run` многократно без необходимости.
Временно включить полный HTTP-лог Hub для диагностики можно через
`systemctl edit owrt-remote`, добавив:
```ini
[Service]
Environment=OWRT_REMOTE_HTTP_DEBUG=1
```
После изменения нужен `systemctl restart owrt-remote`. Для выключения удалить
эту строку из созданного drop-in и перезапустить Hub. На фильтр Nginx эта
переменная не влияет; ошибки Nginx всегда сохраняются.
## SSH
Проверить попытки входа без изменения доступа:
```powershell
ssh root@132.243.19.232 'journalctl -u ssh -u sshd --since yesterday --no-pager | tail -n 100'
```
Возможные меры: ограничение SSH по доверенным адресам в firewall, Fail2ban,
`MaxAuthTries 3`, `LoginGraceTime 30`, `MaxStartups 10:30:30`. Подбирать после
просмотра реальной нагрузки и наличия резервного доступа. Перед применением
проверять `sshd -t`, сохранять текущий SSH-сеанс и проверять второй вход.
Исправление не меняет `PasswordAuthentication`, `PermitRootLogin`, SSH или firewall.
## Откат
```powershell
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Rollback
```
Копия: `/root/owrt-remote-backup-before-log-maintenance-v121/manifest.json`
и файлы рядом. Откат восстанавливает исходный Hub, Nginx, настройки journald,
таймера и старое правило logrotate; возвращает прежнее состояние таймера.
База, сертификаты, SSH-ключи и данные пользователей не открываются обработчиком
очистки. Удалённые или уже ротированные журналы откат не восстанавливает.
## Изменённые файлы и проверки
- `vps/owrt-remote-hub.py` — фильтрация успешных HTTP-записей и DEBUG.
- `vps/log-maintenance.py` — настройка, обслуживание, проверки и откат.
- `vps/install-vps.sh` — подключение обслуживания вместо старых правил.
- `vps/deploy-log-maintenance.ps1` — установка локальной сборки и откат.
- `tests/test_log_maintenance.py`, `tests/test_notification_load.py` — регрессии.
- `scripts/embed-log-maintenance.py` — сборка встроенного скрипта обслуживания.
- `tests/test_hub_update.py`, `tests/test_hub_update_components.py`,
`tests/test_hub_self_update_local.py` — обновление через кнопку и откат.
- Этот документ — эксплуатация и ограничения.
Тесты Python можно запустить отдельно:
```powershell
python -m unittest discover -s tests -p test_log_maintenance.py -v
python -m unittest discover -s tests -p test_notification_load.py -v
```
Проверки POSIX-блокировок, ссылок и прав запускаются на Linux; на Windows
они явно помечены как пропущенные. Проверка на рабочем VPS выполняется после
установки пользователем; локальная Ubuntu не подтверждает состояние его диска
или фактическую интенсивность SSH-перебора.
### Результаты локальной проверки
На отдельной виртуальной машине Ubuntu 24.04 с настоящими systemd, logrotate,
Nginx, rsyslog и работающим Hub проверены:
- 13 тестов обслуживания и 7 тестов HTTP-логирования — успешно на Linux.
- Установка, расписание 03:20, фактические настройки journald, ручное
обслуживание, повтор в тот же день и блокировка параллельного запуска.
- Успешные запросы к четырём частым API не попадают в access.log;
HTTP 404/503 и обычное действие остаются. Настоящий Hub возвращает и
записывает HTTP 401 при heartbeat без авторизации.
- Удаление старых архивов, сохранение постороннего `.gz`, запись новых событий
Nginx и rsyslog после ротации, ограничение собственного журнала.
- Переход со старого правила проекта и дублирующего access_log без сохранения
второго регистратора; исходные файлы возвращаются при откате.
- Повторная установка, ручной откат и автоматический откат при намеренно
ошибочной конфигурации Nginx.
- SQLite `integrity_check=ok`, тестовая запись в базе и SHA256 тестовых настроек,
токенов, сертификата, SSH-ключей и пользовательских файлов сохранены.
- Дополнительно 19 регрессий архива журналов роутеров и 31 проверка жизненного
цикла ресурсов прошли на Windows; 2 проверки POSIX в последнем наборе пропущены.
- Синтаксис Python, PowerShell, shell-установщика и `git diff --check` проверены.
Пороги 75/85/90% проверяются с подменёнными показаниями диска в тестах:
заполнение настоящего раздела до 100% не выполнялось. Существующее предупреждение
Python `invalid escape sequence '\s'` в другом HTML-шаблоне Hub не относится к
этому исправлению и не мешает запуску; шаблон в рамках этой задачи не менялся.
После установки пользователем на рабочий VPS получен успешный результат:
`ok=true`, удалены 263 архива, освобождены 2 365 938 байт, journald занимает
18,8 МиБ. Hub, Nginx, rsyslog и journald подтвердили состояние `active`.
Эта проверка выполнена по предоставленному выводу; независимое подключение
к рабочему серверу не выполнялось.
### Обновление обслуживания через кнопку
На отдельной Ubuntu 24.04 воспроизведён переход именно со старой опубликованной
сборки `8ff052b21d2b…`, в которой обработчик заменяет только файл Hub. До перехода
`/opt/owrt-remote/log-maintenance.py` отсутствовал. После одного обновления он
установлен, результат очистки имеет `ok=true`, таймер и службы активны.
Затем проверен следующий цикл обновления уже новым обработчиком: успех
подтверждён после обслуживания журналов и проверки таймера. Намеренная ошибка
в конфигурации Nginx останавливает обновление с конкретной причиной;
рабочий файл Hub и установленные настройки журналов сохранены. SHA256
тестовых ключей/настроек и целостность SQLite после обоих циклов не изменились.
Дополнительно конфликтующий параметр journald вызвал ошибку уже после записи
новых настроек: копия текущего обновления успешно вернула исходные файлы,
Hub продолжил работать, а результат обновления содержит причину отказа.
Разработчикам: после изменения `vps/log-maintenance.py` выполнить
`python scripts/embed-log-maintenance.py`; команда с `--check` и тесты проверяют,
что встроенный скрипт совпадает с исходником. Внутренний параметр `--backup`
задаёт отдельную резервную копию текущего обновления; без него ручная установка
и откат используют прежний каталог `/root/owrt-remote-backup-before-log-maintenance-v121`.