Files
luci-app-owrt-remote/tests/RESOURCE_AUDIT.md
T

137 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Аудит ресурсов OpenWrt Remote Hub v119
Исправления внесены поверх `7f809fd`. Версия панели остаётся v119.
## SQLite
В исходном коде нативный `sqlite3.Connection.__exit__` управлял транзакцией,
но не закрывал соединение. Это затрагивало мониторинг, API и CLI.
Теперь `connect()` — единственный владелец создаваемого SQLite connection:
```python
with connect(db_path) as conn:
# Работа с БД только внутри этого блока.
...
```
Внутренний `with conn` сохраняет штатную семантику SQLite commit/rollback,
включая rollback после неудачного commit и `BaseException`. Внешний `finally`
всегда вызывает `close()`, в том числе при ошибке установки `row_factory`,
инициализации схемы, выходе через `return` и ошибке завершения транзакции.
Ошибки SQLite продолжают передаваться вызывающему коду.
`App.conn()` инициализирует схему внутри того же защищённого контекста.
Аудит AST проверил один прямой `sqlite3.connect`, 13 вызовов общего `connect`,
30 вызовов `self.app.conn`, один `self.conn` и один `app.conn`.
Все потребители контекстных менеджеров используют `with`.
Проверены мониторинг, heartbeat, группы, заметки, выдача конфигураций,
HTTP handlers, CLI, backup/restore и обновление Xray. Отдельных долгоживущих
cursor нет; результаты извлекаются внутри операции, connection закрывает
оставшиеся SQLite ресурсы. Backup закрывает source даже при ошибке открытия
destination. Возвращаемые `sqlite3.Row` остаются доступны после закрытия БД.
## Другие ресурсы
Исправлены найденные пути с неполной очисткой:
* HTTPError OAuth закрывается после чтения тела ошибки.
* Ответы Web Push закрываются при успехе и при ответе с ошибкой.
* Ответ proxy закрывается контекстным менеджером, backend — через `finally`.
* HTTP сервер освобождает listening socket при ошибке TLS; главный и
дополнительные серверы закрываются при выходе или ошибке запуска.
* Монитор останавливается с ожиданием потока; неудачный запуск потока
не ломает cleanup. Ошибка первого снимка БД логируется, монитор повторяет
попытки с обычной паузой.
* HTTP terminal reader владеет PTY и сбором дочернего процесса. При
неудачном запуске reader или первой записи WebSocket ресурсы освобождаются.
Завершение ребёнка ожидается; при необходимости применяются HUP/TERM/KILL.
* Запись в HTTP terminal использует собственный временный дубликат FD,
который закрывается в `finally`, чтобы избежать гонки с reader.
* Закрытые terminal sessions удаляются спустя 60 секунд. HTTP sessions без
обращений браузера завершаются после 15 минут; живой polling продлевает их.
Буфер вывода ограничен 256 порциями по максимуму 4096 байт исходных данных.
При остановке сервера sessions помечаются закрытыми, reader threads ожидаются.
* Прерванный chunked request вызывает ошибку вместо бесконечного цикла на EOF.
Для сетевого чтения/записи установлен timeout 90 секунд. Долгий terminal
без ввода не истекает по этому timeout: его цикл ждёт данные через `select`.
* Атомарная запись и создание архива используют уникальные временные файлы
с очисткой при ошибке. SSH askpass очищается при неудачной подготовке
и после subprocess, включая timeout и ошибку подготовки аргументов.
Проверенные прежние безопасные участки: `urlopen` успеха и TCP-проверки
используют `with`; `TemporaryDirectory` в подписи SSH, backup/restore и
upload/download очищаются контекстом; `subprocess.run` использует конечные
timeout и собирает child/PIPE после завершения или timeout. Web Push worker
имеет конечный список подписок и timeout HTTP; notification long polling
ждёт Condition с конечным deadline. Эти механизмы не отключались.
Лимит FD и конфигурация systemd не изменялись.
## Автоматическая проверка
```powershell
python -m unittest discover -s tests -v
python tests/test_resource_lifecycle.py --soak-seconds 600
```
Тесты используют отдельные временные state/DB и loopback fixture роутера.
Они удерживают ссылки на connection, чтобы GC не маскировал утечку.
Проверяются 500 snapshots, commit, rollback, ранний return, init failure,
ошибка commit, setup/transaction exit failure, backup и остальные
исправленные пути очистки. AST-тест запрещает вызовы DB factory вне `with`.
В Windows два POSIX-теста пропускаются: реальный PTY/child и сигналы.
В Linux установщик запускает их до замены рабочего файла на VPS.
CI в этом репозитории отсутствует; тесты подготовлены для его последующего
подключения без сторонних Python зависимостей.
В исходном `7f809fd` тест с удержанными connection показал 101 незакрытое
соединение и рост Windows handles с 227 до 327 после 100 snapshots.
После фикса 500 snapshots не оставляют открытых connection.
Первый локальный длительный прогон: 601.1 секунды, 116 циклов
панель/API/heartbeat/proxy/notifications/snapshot, handles 279 → 277,
максимум 281, CPU time 8.39 секунды. Это Windows handles, а не Linux FD.
Второй прогон после изменений сетевого cleanup: 601.2 секунды, 116 циклов,
handles 279 → 277, максимум 281, CPU time 8.73 секунды.
Локальный тест подтверждает fixture, а не реальные туннели/доставку push/nginx.
## Установка и откат для проверки пользователем
Из PowerShell Windows 11:
```powershell
$Vps = "root@YOUR_VPS_IP"
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Install
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Monitor -Minutes 10
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Rollback
```
Первые две команды выполняются последовательно. Откат — отдельная команда
только при необходимости. Рабочая директория — корень репозитория.
Вместо `YOUR_VPS_IP` укажите адрес своего VPS.
Для длительного мониторинга можно использовать `-Minutes 120`.
Установщик загружает локальный файл без Git, запускает изолированные тесты,
сохраняет исходный серверный файл:
`/opt/owrt-remote/owrt-remote-hub.py.bak-before-resource-fix-v119`,
атомарно заменяет Python файл, перезапускает `owrt-remote` и проверяет health.
Существующая резервная копия не перезаписывается. При ошибке установки
восстанавливается файл, работавший непосредственно перед текущей попыткой.
База и конфигурация роутеров этим скриптом не заменяются.
Монитор читает `/proc/MainPID/fd`, hub.db FD, CPU за интервал, RSS, threads,
health и journal. Отчёт остаётся в `/tmp/owrt-resource-monitor-*.jsonl`.
Во время мониторинга нужно пользоваться реальной панелью и proxy роутера.
Значения FD могут кратковременно расти из-за активных запросов; важны
отсутствие накопления hub.db FD и устойчивого восходящего тренда между ними.
## Что ещё требуется на реальном VPS
Сам агент VPS не обновлял и длинный серверный тест не проводил. До финального
закрытия инцидента нужны минимум 10 минут Linux мониторинга, желательно 1–2
часа с реальными роутерами, проверка online/offline уведомлений, Web Push,
heartbeat, SSH, API и nginx error log. Ошибки upstream/504 могут иметь
дополнительные причины; их отсутствие нельзя подтвердить Windows fixture.