Files

21 KiB
Raw Permalink Blame History

Обслуживание журналов VPS

Исправление для v121. Оно меняет только HTTP-логирование Hub, ротацию журналов и обслуживание диска. API, авторизация, Xray, heartbeat, база данных и архивы журналов роутеров остаются в прежнем формате.

Причина

Handler.log_message() фильтровал успешные long-poll и чтение SSH-терминала, но записывал каждый успешный heartbeat и пакет /api/router-logs. При большом количестве роутеров эти записи попадали в journald/syslog и Nginx. Старая настройка Nginx могла добавлять второй access_log, сохраняя первый без фильтра. Установщик также создавал правило /etc/logrotate.d/owrt-remote для тех же файлов Nginx, которые уже обслуживает пакет Nginx.

Частота SSH-перебора на рабочем VPS этим локальным тестом не установлена: доступ к серверу и чтение его журналов не выполнялись.

Что установлено

  • Hub и стандартный /var/log/nginx/access.log пропускают успешные 2xx/3xx для /api/heartbeat, /api/router-logs, /api/notifications/wait и /api/ssh-session/*/read. HTTP 4xx/5xx, исключения и остальные действия продолжают записываться. Содержимое доставленных журналов не фильтруется.
  • Единственный планировщик — штатный logrotate.timer, ежедневно в 03:20 по часовому поясу VPS. Persistent=true запускает пропущенную задачу после включения сервера. Отдельного cron или второго таймера нет.
  • Штатные правила /etc/logrotate.conf и /etc/logrotate.d/ сохраняют права, владельцев и команды повторного открытия файлов Nginx/rsyslog. Временная конфигурация добавляет daily, maxsize 20M, rotate 1, maxage 1, compress, nodelaycompress. Активные журналы через rm не удаляются.
  • Старые распознанные архивы настроенных журналов удаляются после 24 часов. Очистка не представляет собой удаление всех *.gz на сервере: проверяются имена архивов конкретных логов, тип файла, ссылки и открытые дескрипторы.
  • journald: SystemMaxUse=50M, SystemKeepFree=500M, MaxRetentionSec=7day, Compress=yes, файлы до 10 МиБ. Для непостоянного журнала задано 16 МиБ. Ежедневно выполняются journalctl --rotate и очистка архивов старше суток с ограничением 50 МиБ. Поэтому ежедневная политика строже предела 7 дней.
  • Проверяются / и /var/log: предупреждение выше 75%, усиленная очистка закрытых архивов выше 85%, критическое сообщение выше 90%. При усиленной очистке допустимо удалить также свежие архивы, journald сокращается до 10 МиБ.
  • Результат: /var/lib/owrt-remote-log-maintenance/result.json; собственный журнал /var/log/owrt-remote-maintenance.log — до 64 КиБ плюс один архив до 64 КиБ. Права состояния и резервных копий ограничены root.
  • flock исключает параллельные обслуживание/установку/откат. Используется также штатная блокировка состояния logrotate. Маркер попытки записывается до работы; автоматический повтор в тот же день пропускается даже после ошибки. Явный Run нужен для повторной попытки после исправления причины.

maxsize проверяется при запуске logrotate, а не непрерывно. Ежедневная задача не гарантирует, что сторонний сервис не заполнит диск между запусками. Лимиты journald не ограничивают размер базы Hub или пользовательских файлов.

Установка подготовленной версии

PowerShell Windows 11:

$Fix = "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-log-maintenance.ps1"
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Install

Нужны Python 3, systemd, journald и установленный logrotate. Если последнего нет, скрипт сообщит об этом до изменения конфигурации:

ssh root@132.243.19.232 'apt-get update && apt-get install -y logrotate'

Установка сохраняет исходные файлы, проверяет Python, Nginx, systemd и logrotate --debug. При ошибке применения возвращает конфигурацию из копии. Hub перезапускается; проверяется SHA256 именно запущенной сборки через /health. Затем выполняется первое обслуживание. Если оно завершилось ошибкой, изучить её и выполнить Run либо Rollback; уже удалённые архивы не вернуть.

Повторный Install обновляет исправление, сохраняя первую резервную копию. Основной install-vps.sh также подключает этот механизм после настройки HTTPS, когда конфигурация Nginx уже существует. Для полного обновления существующего VPS через GitHub с сохранением текущего логина выполнить на самом VPS:

curl -fsSL "https://raw.githubusercontent.com/kzolotarev95/luci-app-owrt-remote/main/vps/install-vps.sh?v=$(date +%s)" | sudo env RESET_LOGIN=0 sh

Кнопка «Обновление панели» также устанавливает обслуживание журналов. Скрипт включён в сборку Hub в сжатом виде и проверяется по SHA256; отдельная загрузка скрипта при нажатии кнопки не требуется. Если отсутствует logrotate, выполняется ограниченная по времени установка пакета через apt-get с имеющимися индексами. Ошибка зависимости отображается как ошибка обновления.

Для каждой установки создаётся отдельная копия настроек. Проверяются Nginx, journald, ротация и активность таймера. Успех подтверждается только после успешного обслуживания за текущие сутки; повторной ротации в те же сутки нет. При отказе настройки возвращаются из копии текущего обновления. При отказе новой сборки Hub возвращается и предыдущий файл Hub. Хранятся копии настроек двух последних обновлений; база и данные роутеров в эти копии не входят.

Первый переход со старой сборки поддерживается: старый обработчик заменяет файл, а запущенный новый Hub завершает установку обслуживания, прежде чем подтверждает готовность через проверку сборки. Обычный /health, heartbeat и API роутеров продолжают работать. Нестандартная конфигурация вызывает ошибку с причиной и откат, а не ложное сообщение об успехе.

Установка обслуживания при первом переходе запускается через отдельную службу owrt-remote-log-maintenance-<id> у системного systemd. Ограничение CapabilityBoundingSet=CAP_NET_BIND_SERVICE у веб-службы Hub сохраняется: проверка Nginx и ротация выполняются с системными правами в отдельной задаче. Права и владельцы /var/log/nginx/*.log не меняются ради обхода ошибок доступа. Предупреждение Nginx protocol options redefined само по себе не означает отказ; итог определяется кодом возврата команды и её сообщением об ошибке.

Если после нажатия кнопки страница продолжает показывать прежнюю сборку, обновить её через Ctrl+F5. Номер версии остаётся v121; новая сборка определяется по SHA256. Отдельные команды установки выше сохраняются для ручного применения.

Нестандартные правила с целями вне /var/log, olddir, неоднозначным синтаксисом или пользовательским условием access_log if=... требуют ручного рассмотрения. Установка остановится с причиной, не выполняя опасную очистку. Иные назначения access_log, например отдельные пользовательские файлы, автоматически не меняются.

Проверка и ручной запуск

powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Status
powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Run
ssh root@132.243.19.232 'systemctl list-timers logrotate.timer --no-pager; journalctl -u logrotate.service -n 50 --no-pager; tail -n 20 /var/log/owrt-remote-maintenance.log; journalctl --disk-usage; nginx -t; systemctl is-active owrt-remote nginx rsyslog systemd-journald'

Run принудительно запускает ротацию повторно; для обычной проверки достаточно Status. Не применять Run многократно без необходимости.

Временно включить полный HTTP-лог Hub для диагностики можно через systemctl edit owrt-remote, добавив:

[Service]
Environment=OWRT_REMOTE_HTTP_DEBUG=1

После изменения нужен systemctl restart owrt-remote. Для выключения удалить эту строку из созданного drop-in и перезапустить Hub. На фильтр Nginx эта переменная не влияет; ошибки Nginx всегда сохраняются.

SSH

Проверить попытки входа без изменения доступа:

ssh root@132.243.19.232 'journalctl -u ssh -u sshd --since yesterday --no-pager | tail -n 100'

Возможные меры: ограничение SSH по доверенным адресам в firewall, Fail2ban, MaxAuthTries 3, LoginGraceTime 30, MaxStartups 10:30:30. Подбирать после просмотра реальной нагрузки и наличия резервного доступа. Перед применением проверять sshd -t, сохранять текущий SSH-сеанс и проверять второй вход. Исправление не меняет PasswordAuthentication, PermitRootLogin, SSH или firewall.

Откат

powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.19.232" -Action Rollback

Копия: /root/owrt-remote-backup-before-log-maintenance-v121/manifest.json и файлы рядом. Откат восстанавливает исходный Hub, Nginx, настройки journald, таймера и старое правило logrotate; возвращает прежнее состояние таймера. База, сертификаты, SSH-ключи и данные пользователей не открываются обработчиком очистки. Удалённые или уже ротированные журналы откат не восстанавливает.

Изменённые файлы и проверки

  • vps/owrt-remote-hub.py — фильтрация успешных HTTP-записей и DEBUG.
  • vps/log-maintenance.py — настройка, обслуживание, проверки и откат.
  • vps/install-vps.sh — подключение обслуживания вместо старых правил.
  • vps/deploy-log-maintenance.ps1 — установка локальной сборки и откат.
  • tests/test_log_maintenance.py, tests/test_notification_load.py — регрессии.
  • scripts/embed-log-maintenance.py — сборка встроенного скрипта обслуживания.
  • tests/test_hub_update.py, tests/test_hub_update_components.py, tests/test_hub_self_update_local.py — обновление через кнопку и откат.
  • Этот документ — эксплуатация и ограничения.

Тесты Python можно запустить отдельно:

python -m unittest discover -s tests -p test_log_maintenance.py -v
python -m unittest discover -s tests -p test_notification_load.py -v

Проверки POSIX-блокировок, ссылок и прав запускаются на Linux; на Windows они явно помечены как пропущенные. Проверка на рабочем VPS выполняется после установки пользователем; локальная Ubuntu не подтверждает состояние его диска или фактическую интенсивность SSH-перебора.

Результаты локальной проверки

На отдельной виртуальной машине Ubuntu 24.04 с настоящими systemd, logrotate, Nginx, rsyslog и работающим Hub проверены:

  • 13 тестов обслуживания и 7 тестов HTTP-логирования — успешно на Linux.
  • Установка, расписание 03:20, фактические настройки journald, ручное обслуживание, повтор в тот же день и блокировка параллельного запуска.
  • Успешные запросы к четырём частым API не попадают в access.log; HTTP 404/503 и обычное действие остаются. Настоящий Hub возвращает и записывает HTTP 401 при heartbeat без авторизации.
  • Удаление старых архивов, сохранение постороннего .gz, запись новых событий Nginx и rsyslog после ротации, ограничение собственного журнала.
  • Переход со старого правила проекта и дублирующего access_log без сохранения второго регистратора; исходные файлы возвращаются при откате.
  • Повторная установка, ручной откат и автоматический откат при намеренно ошибочной конфигурации Nginx.
  • SQLite integrity_check=ok, тестовая запись в базе и SHA256 тестовых настроек, токенов, сертификата, SSH-ключей и пользовательских файлов сохранены.
  • Дополнительно 19 регрессий архива журналов роутеров и 31 проверка жизненного цикла ресурсов прошли на Windows; 2 проверки POSIX в последнем наборе пропущены.
  • Синтаксис Python, PowerShell, shell-установщика и git diff --check проверены.

Пороги 75/85/90% проверяются с подменёнными показаниями диска в тестах: заполнение настоящего раздела до 100% не выполнялось. Существующее предупреждение Python invalid escape sequence '\s' в другом HTML-шаблоне Hub не относится к этому исправлению и не мешает запуску; шаблон в рамках этой задачи не менялся.

После установки пользователем на рабочий VPS получен успешный результат: ok=true, удалены 263 архива, освобождены 2 365 938 байт, journald занимает 18,8 МиБ. Hub, Nginx, rsyslog и journald подтвердили состояние active. Эта проверка выполнена по предоставленному выводу; независимое подключение к рабочему серверу не выполнялось.

Обновление обслуживания через кнопку

На отдельной Ubuntu 24.04 воспроизведён переход именно со старой опубликованной сборки 8ff052b21d2b…, в которой обработчик заменяет только файл Hub. До перехода /opt/owrt-remote/log-maintenance.py отсутствовал. После одного обновления он установлен, результат очистки имеет ok=true, таймер и службы активны.

Затем проверен следующий цикл обновления уже новым обработчиком: успех подтверждён после обслуживания журналов и проверки таймера. Намеренная ошибка в конфигурации Nginx останавливает обновление с конкретной причиной; рабочий файл Hub и установленные настройки журналов сохранены. SHA256 тестовых ключей/настроек и целостность SQLite после обоих циклов не изменились. Дополнительно конфликтующий параметр journald вызвал ошибку уже после записи новых настроек: копия текущего обновления успешно вернула исходные файлы, Hub продолжил работать, а результат обновления содержит причину отказа.

Отдельно воспроизведён Permission denied у nginx -T при ограничении CapabilityBoundingSet=CAP_NET_BIND_SERVICE, используемом штатной службой Hub. С этим же ограничением первый переход со старой сборки через кнопку успешно установил обслуживание в отдельной задаче systemd. Ограничение Hub, владелец и режим www-data:adm 0640 журнала Nginx, ключи/настройки и целостность SQLite сохранены. Проверены 9 регрессий установки компонентов, 19 проверок обновления и 6 проверок локального тестового обновления.

Разработчикам: после изменения vps/log-maintenance.py выполнить python scripts/embed-log-maintenance.py; команда с --check и тесты проверяют, что встроенный скрипт совпадает с исходником. Внутренний параметр --backup задаёт отдельную резервную копию текущего обновления; без него ручная установка и откат используют прежний каталог /root/owrt-remote-backup-before-log-maintenance-v121.