# Обслуживание журналов VPS Исправление для v121. Оно меняет только HTTP-логирование Hub, ротацию журналов и обслуживание диска. API, авторизация, Xray, heartbeat, база данных и архивы журналов роутеров остаются в прежнем формате. ## Причина `Handler.log_message()` фильтровал успешные long-poll и чтение SSH-терминала, но записывал каждый успешный heartbeat и пакет `/api/router-logs`. При большом количестве роутеров эти записи попадали в journald/syslog и Nginx. Старая настройка Nginx могла добавлять второй `access_log`, сохраняя первый без фильтра. Установщик также создавал правило `/etc/logrotate.d/owrt-remote` для тех же файлов Nginx, которые уже обслуживает пакет Nginx. Частота SSH-перебора на рабочем VPS этим локальным тестом не установлена: доступ к серверу и чтение его журналов не выполнялись. ## Что установлено - Hub и стандартный `/var/log/nginx/access.log` пропускают успешные 2xx/3xx для `/api/heartbeat`, `/api/router-logs`, `/api/notifications/wait` и `/api/ssh-session/*/read`. HTTP 4xx/5xx, исключения и остальные действия продолжают записываться. Содержимое доставленных журналов не фильтруется. - Единственный планировщик — штатный `logrotate.timer`, ежедневно в **03:20 по часовому поясу VPS**. `Persistent=true` запускает пропущенную задачу после включения сервера. Отдельного cron или второго таймера нет. - Штатные правила `/etc/logrotate.conf` и `/etc/logrotate.d/` сохраняют права, владельцев и команды повторного открытия файлов Nginx/rsyslog. Временная конфигурация добавляет `daily`, `maxsize 20M`, `rotate 1`, `maxage 1`, `compress`, `nodelaycompress`. Активные журналы через `rm` не удаляются. - Старые распознанные архивы настроенных журналов удаляются после 24 часов. Очистка не представляет собой удаление всех `*.gz` на сервере: проверяются имена архивов конкретных логов, тип файла, ссылки и открытые дескрипторы. - journald: `SystemMaxUse=50M`, `SystemKeepFree=500M`, `MaxRetentionSec=7day`, `Compress=yes`, файлы до 10 МиБ. Для непостоянного журнала задано 16 МиБ. Ежедневно выполняются `journalctl --rotate` и очистка архивов старше суток с ограничением 50 МиБ. Поэтому ежедневная политика строже предела 7 дней. - Проверяются `/` и `/var/log`: предупреждение выше 75%, усиленная очистка **закрытых архивов** выше 85%, критическое сообщение выше 90%. При усиленной очистке допустимо удалить также свежие архивы, journald сокращается до 10 МиБ. - Результат: `/var/lib/owrt-remote-log-maintenance/result.json`; собственный журнал `/var/log/owrt-remote-maintenance.log` — до 64 КиБ плюс один архив до 64 КиБ. Права состояния и резервных копий ограничены root. - `flock` исключает параллельные обслуживание/установку/откат. Используется также штатная блокировка состояния logrotate. Маркер попытки записывается до работы; автоматический повтор в тот же день пропускается даже после ошибки. Явный `Run` нужен для повторной попытки после исправления причины. `maxsize` проверяется при запуске logrotate, а не непрерывно. Ежедневная задача не гарантирует, что сторонний сервис не заполнит диск между запусками. Лимиты journald не ограничивают размер базы Hub или пользовательских файлов. ## Установка подготовленной версии PowerShell Windows 11: ```powershell $Fix = "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-log-maintenance.ps1" powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Install ``` Нужны Python 3, systemd, journald и установленный `logrotate`. Если последнего нет, скрипт сообщит об этом до изменения конфигурации: ```powershell ssh root@132.243.19.232 'apt-get update && apt-get install -y logrotate' ``` Установка сохраняет исходные файлы, проверяет Python, Nginx, systemd и `logrotate --debug`. При ошибке применения возвращает конфигурацию из копии. Hub перезапускается; проверяется SHA256 именно запущенной сборки через `/health`. Затем выполняется первое обслуживание. Если оно завершилось ошибкой, изучить её и выполнить `Run` либо `Rollback`; уже удалённые архивы не вернуть. Повторный `Install` обновляет исправление, сохраняя первую резервную копию. Основной `install-vps.sh` также подключает этот механизм после настройки HTTPS, когда конфигурация Nginx уже существует. Для полного обновления существующего VPS через GitHub с сохранением текущего логина выполнить на самом VPS: ```sh curl -fsSL "https://raw.githubusercontent.com/kzolotarev95/luci-app-owrt-remote/main/vps/install-vps.sh?v=$(date +%s)" | sudo env RESET_LOGIN=0 sh ``` **Кнопка «Обновление панели» также устанавливает обслуживание журналов.** Скрипт включён в сборку Hub в сжатом виде и проверяется по SHA256; отдельная загрузка скрипта при нажатии кнопки не требуется. Если отсутствует `logrotate`, выполняется ограниченная по времени установка пакета через apt-get с имеющимися индексами. Ошибка зависимости отображается как ошибка обновления. Для каждой установки создаётся отдельная копия настроек. Проверяются Nginx, journald, ротация и активность таймера. Успех подтверждается только после успешного обслуживания за текущие сутки; повторной ротации в те же сутки нет. При отказе настройки возвращаются из копии текущего обновления. При отказе новой сборки Hub возвращается и предыдущий файл Hub. Хранятся копии настроек двух последних обновлений; база и данные роутеров в эти копии не входят. Первый переход со старой сборки поддерживается: старый обработчик заменяет файл, а запущенный новый Hub завершает установку обслуживания, прежде чем подтверждает готовность через проверку сборки. Обычный `/health`, heartbeat и API роутеров продолжают работать. Нестандартная конфигурация вызывает ошибку с причиной и откат, а не ложное сообщение об успехе. Установка обслуживания при первом переходе запускается через отдельную службу `owrt-remote-log-maintenance-` у системного systemd. Ограничение `CapabilityBoundingSet=CAP_NET_BIND_SERVICE` у веб-службы Hub сохраняется: проверка Nginx и ротация выполняются с системными правами в отдельной задаче. Права и владельцы `/var/log/nginx/*.log` не меняются ради обхода ошибок доступа. Предупреждение Nginx `protocol options redefined` само по себе не означает отказ; итог определяется кодом возврата команды и её сообщением об ошибке. Если после нажатия кнопки страница продолжает показывать прежнюю сборку, обновить её через Ctrl+F5. Номер версии остаётся v121; новая сборка определяется по SHA256. Отдельные команды установки выше сохраняются для ручного применения. Нестандартные правила с целями вне `/var/log`, `olddir`, неоднозначным синтаксисом или пользовательским условием `access_log if=...` требуют ручного рассмотрения. Установка остановится с причиной, не выполняя опасную очистку. Иные назначения access_log, например отдельные пользовательские файлы, автоматически не меняются. ## Проверка и ручной запуск ```powershell powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Status powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Run ssh root@132.243.19.232 'systemctl list-timers logrotate.timer --no-pager; journalctl -u logrotate.service -n 50 --no-pager; tail -n 20 /var/log/owrt-remote-maintenance.log; journalctl --disk-usage; nginx -t; systemctl is-active owrt-remote nginx rsyslog systemd-journald' ``` `Run` принудительно запускает ротацию повторно; для обычной проверки достаточно `Status`. Не применять `Run` многократно без необходимости. Временно включить полный HTTP-лог Hub для диагностики можно через `systemctl edit owrt-remote`, добавив: ```ini [Service] Environment=OWRT_REMOTE_HTTP_DEBUG=1 ``` После изменения нужен `systemctl restart owrt-remote`. Для выключения удалить эту строку из созданного drop-in и перезапустить Hub. На фильтр Nginx эта переменная не влияет; ошибки Nginx всегда сохраняются. ## SSH Проверить попытки входа без изменения доступа: ```powershell ssh root@132.243.19.232 'journalctl -u ssh -u sshd --since yesterday --no-pager | tail -n 100' ``` Возможные меры: ограничение SSH по доверенным адресам в firewall, Fail2ban, `MaxAuthTries 3`, `LoginGraceTime 30`, `MaxStartups 10:30:30`. Подбирать после просмотра реальной нагрузки и наличия резервного доступа. Перед применением проверять `sshd -t`, сохранять текущий SSH-сеанс и проверять второй вход. Исправление не меняет `PasswordAuthentication`, `PermitRootLogin`, SSH или firewall. ## Откат ```powershell powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Rollback ``` Копия: `/root/owrt-remote-backup-before-log-maintenance-v121/manifest.json` и файлы рядом. Откат восстанавливает исходный Hub, Nginx, настройки journald, таймера и старое правило logrotate; возвращает прежнее состояние таймера. База, сертификаты, SSH-ключи и данные пользователей не открываются обработчиком очистки. Удалённые или уже ротированные журналы откат не восстанавливает. ## Изменённые файлы и проверки - `vps/owrt-remote-hub.py` — фильтрация успешных HTTP-записей и DEBUG. - `vps/log-maintenance.py` — настройка, обслуживание, проверки и откат. - `vps/install-vps.sh` — подключение обслуживания вместо старых правил. - `vps/deploy-log-maintenance.ps1` — установка локальной сборки и откат. - `tests/test_log_maintenance.py`, `tests/test_notification_load.py` — регрессии. - `scripts/embed-log-maintenance.py` — сборка встроенного скрипта обслуживания. - `tests/test_hub_update.py`, `tests/test_hub_update_components.py`, `tests/test_hub_self_update_local.py` — обновление через кнопку и откат. - Этот документ — эксплуатация и ограничения. Тесты Python можно запустить отдельно: ```powershell python -m unittest discover -s tests -p test_log_maintenance.py -v python -m unittest discover -s tests -p test_notification_load.py -v ``` Проверки POSIX-блокировок, ссылок и прав запускаются на Linux; на Windows они явно помечены как пропущенные. Проверка на рабочем VPS выполняется после установки пользователем; локальная Ubuntu не подтверждает состояние его диска или фактическую интенсивность SSH-перебора. ### Результаты локальной проверки На отдельной виртуальной машине Ubuntu 24.04 с настоящими systemd, logrotate, Nginx, rsyslog и работающим Hub проверены: - 13 тестов обслуживания и 7 тестов HTTP-логирования — успешно на Linux. - Установка, расписание 03:20, фактические настройки journald, ручное обслуживание, повтор в тот же день и блокировка параллельного запуска. - Успешные запросы к четырём частым API не попадают в access.log; HTTP 404/503 и обычное действие остаются. Настоящий Hub возвращает и записывает HTTP 401 при heartbeat без авторизации. - Удаление старых архивов, сохранение постороннего `.gz`, запись новых событий Nginx и rsyslog после ротации, ограничение собственного журнала. - Переход со старого правила проекта и дублирующего access_log без сохранения второго регистратора; исходные файлы возвращаются при откате. - Повторная установка, ручной откат и автоматический откат при намеренно ошибочной конфигурации Nginx. - SQLite `integrity_check=ok`, тестовая запись в базе и SHA256 тестовых настроек, токенов, сертификата, SSH-ключей и пользовательских файлов сохранены. - Дополнительно 19 регрессий архива журналов роутеров и 31 проверка жизненного цикла ресурсов прошли на Windows; 2 проверки POSIX в последнем наборе пропущены. - Синтаксис Python, PowerShell, shell-установщика и `git diff --check` проверены. Пороги 75/85/90% проверяются с подменёнными показаниями диска в тестах: заполнение настоящего раздела до 100% не выполнялось. Существующее предупреждение Python `invalid escape sequence '\s'` в другом HTML-шаблоне Hub не относится к этому исправлению и не мешает запуску; шаблон в рамках этой задачи не менялся. После установки пользователем на рабочий VPS получен успешный результат: `ok=true`, удалены 263 архива, освобождены 2 365 938 байт, journald занимает 18,8 МиБ. Hub, Nginx, rsyslog и journald подтвердили состояние `active`. Эта проверка выполнена по предоставленному выводу; независимое подключение к рабочему серверу не выполнялось. ### Обновление обслуживания через кнопку На отдельной Ubuntu 24.04 воспроизведён переход именно со старой опубликованной сборки `8ff052b21d2b…`, в которой обработчик заменяет только файл Hub. До перехода `/opt/owrt-remote/log-maintenance.py` отсутствовал. После одного обновления он установлен, результат очистки имеет `ok=true`, таймер и службы активны. Затем проверен следующий цикл обновления уже новым обработчиком: успех подтверждён после обслуживания журналов и проверки таймера. Намеренная ошибка в конфигурации Nginx останавливает обновление с конкретной причиной; рабочий файл Hub и установленные настройки журналов сохранены. SHA256 тестовых ключей/настроек и целостность SQLite после обоих циклов не изменились. Дополнительно конфликтующий параметр journald вызвал ошибку уже после записи новых настроек: копия текущего обновления успешно вернула исходные файлы, Hub продолжил работать, а результат обновления содержит причину отказа. Отдельно воспроизведён `Permission denied` у `nginx -T` при ограничении `CapabilityBoundingSet=CAP_NET_BIND_SERVICE`, используемом штатной службой Hub. С этим же ограничением первый переход со старой сборки через кнопку успешно установил обслуживание в отдельной задаче systemd. Ограничение Hub, владелец и режим `www-data:adm 0640` журнала Nginx, ключи/настройки и целостность SQLite сохранены. Проверены 9 регрессий установки компонентов, 19 проверок обновления и 6 проверок локального тестового обновления. Разработчикам: после изменения `vps/log-maintenance.py` выполнить `python scripts/embed-log-maintenance.py`; команда с `--check` и тесты проверяют, что встроенный скрипт совпадает с исходником. Внутренний параметр `--backup` задаёт отдельную резервную копию текущего обновления; без него ручная установка и откат используют прежний каталог `/root/owrt-remote-backup-before-log-maintenance-v121`.