Fix SQLite connection leaks and resource cleanup

This commit is contained in:
kzolotarev95 committed 2026-10-07 00:51:24 +04:00
1 parent 7f809fd288
commit 5414eb6c4f
5 files changed
+1177 -173

No files matched your search

+136
View File
@@ -0,0 +1,136 @@
# Аудит ресурсов OpenWrt Remote Hub v109
Исправления внесены поверх `7f809fd`. Версия панели остаётся v109.
## SQLite
В исходном коде нативный `sqlite3.Connection.__exit__` управлял транзакцией,
но не закрывал соединение. Это затрагивало мониторинг, API и CLI.
Теперь `connect()` — единственный владелец создаваемого SQLite connection:
```python
with connect(db_path) as conn:
# Работа с БД только внутри этого блока.
...
```
Внутренний `with conn` сохраняет штатную семантику SQLite commit/rollback,
включая rollback после неудачного commit и `BaseException`. Внешний `finally`
всегда вызывает `close()`, в том числе при ошибке установки `row_factory`,
инициализации схемы, выходе через `return` и ошибке завершения транзакции.
Ошибки SQLite продолжают передаваться вызывающему коду.
`App.conn()` инициализирует схему внутри того же защищённого контекста.
Аудит AST проверил один прямой `sqlite3.connect`, 13 вызовов общего `connect`,
30 вызовов `self.app.conn`, один `self.conn` и один `app.conn`.
Все потребители контекстных менеджеров используют `with`.
Проверены мониторинг, heartbeat, группы, заметки, выдача конфигураций,
HTTP handlers, CLI, backup/restore и обновление Xray. Отдельных долгоживущих
cursor нет; результаты извлекаются внутри операции, connection закрывает
оставшиеся SQLite ресурсы. Backup закрывает source даже при ошибке открытия
destination. Возвращаемые `sqlite3.Row` остаются доступны после закрытия БД.
## Другие ресурсы
Исправлены найденные пути с неполной очисткой:
* HTTPError OAuth закрывается после чтения тела ошибки.
* Ответы Web Push закрываются при успехе и при ответе с ошибкой.
* Ответ proxy закрывается контекстным менеджером, backend — через `finally`.
* HTTP сервер освобождает listening socket при ошибке TLS; главный и
дополнительные серверы закрываются при выходе или ошибке запуска.
* Монитор останавливается с ожиданием потока; неудачный запуск потока
не ломает cleanup. Ошибка первого снимка БД логируется, монитор повторяет
попытки с обычной паузой.
* HTTP terminal reader владеет PTY и сбором дочернего процесса. При
неудачном запуске reader или первой записи WebSocket ресурсы освобождаются.
Завершение ребёнка ожидается; при необходимости применяются HUP/TERM/KILL.
* Запись в HTTP terminal использует собственный временный дубликат FD,
который закрывается в `finally`, чтобы избежать гонки с reader.
* Закрытые terminal sessions удаляются спустя 60 секунд. HTTP sessions без
обращений браузера завершаются после 15 минут; живой polling продлевает их.
Буфер вывода ограничен 256 порциями по максимуму 4096 байт исходных данных.
При остановке сервера sessions помечаются закрытыми, reader threads ожидаются.
* Прерванный chunked request вызывает ошибку вместо бесконечного цикла на EOF.
Для сетевого чтения/записи установлен timeout 90 секунд. Долгий terminal
без ввода не истекает по этому timeout: его цикл ждёт данные через `select`.
* Атомарная запись и создание архива используют уникальные временные файлы
с очисткой при ошибке. SSH askpass очищается при неудачной подготовке
и после subprocess, включая timeout и ошибку подготовки аргументов.
Проверенные прежние безопасные участки: `urlopen` успеха и TCP-проверки
используют `with`; `TemporaryDirectory` в подписи SSH, backup/restore и
upload/download очищаются контекстом; `subprocess.run` использует конечные
timeout и собирает child/PIPE после завершения или timeout. Web Push worker
имеет конечный список подписок и timeout HTTP; notification long polling
ждёт Condition с конечным deadline. Эти механизмы не отключались.
Лимит FD и конфигурация systemd не изменялись.
## Автоматическая проверка
```powershell
python -m unittest discover -s tests -v
python tests/test_resource_lifecycle.py --soak-seconds 600
```
Тесты используют отдельные временные state/DB и loopback fixture роутера.
Они удерживают ссылки на connection, чтобы GC не маскировал утечку.
Проверяются 500 snapshots, commit, rollback, ранний return, init failure,
ошибка commit, setup/transaction exit failure, backup и остальные
исправленные пути очистки. AST-тест запрещает вызовы DB factory вне `with`.
В Windows два POSIX-теста пропускаются: реальный PTY/child и сигналы.
В Linux установщик запускает их до замены рабочего файла на VPS.
CI в этом репозитории отсутствует; тесты подготовлены для его последующего
подключения без сторонних Python зависимостей.
В исходном `7f809fd` тест с удержанными connection показал 101 незакрытое
соединение и рост Windows handles с 227 до 327 после 100 snapshots.
После фикса 500 snapshots не оставляют открытых connection.
Первый локальный длительный прогон: 601.1 секунды, 116 циклов
панель/API/heartbeat/proxy/notifications/snapshot, handles 279 → 277,
максимум 281, CPU time 8.39 секунды. Это Windows handles, а не Linux FD.
Второй прогон после изменений сетевого cleanup: 601.2 секунды, 116 циклов,
handles 279 → 277, максимум 281, CPU time 8.73 секунды.
Локальный тест подтверждает fixture, а не реальные туннели/доставку push/nginx.
## Установка и откат для проверки пользователем
Из PowerShell Windows 11:
```powershell
$Vps = "root@YOUR_VPS_IP"
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Install
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Monitor -Minutes 10
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "vps\deploy-resource-fix.ps1" -Vps $Vps -Action Rollback
```
Первые две команды выполняются последовательно. Откат — отдельная команда
только при необходимости. Рабочая директория — корень репозитория.
Вместо `YOUR_VPS_IP` укажите адрес своего VPS.
Для длительного мониторинга можно использовать `-Minutes 120`.
Установщик загружает локальный файл без Git, запускает изолированные тесты,
сохраняет исходный серверный файл:
`/opt/owrt-remote/owrt-remote-hub.py.bak-before-resource-fix-v109`,
атомарно заменяет Python файл, перезапускает `owrt-remote` и проверяет health.
Существующая резервная копия не перезаписывается. При ошибке установки
восстанавливается файл, работавший непосредственно перед текущей попыткой.
База и конфигурация роутеров этим скриптом не заменяются.
Монитор читает `/proc/MainPID/fd`, hub.db FD, CPU за интервал, RSS, threads,
health и journal. Отчёт остаётся в `/tmp/owrt-resource-monitor-*.jsonl`.
Во время мониторинга нужно пользоваться реальной панелью и proxy роутера.
Значения FD могут кратковременно расти из-за активных запросов; важны
отсутствие накопления hub.db FD и устойчивого восходящего тренда между ними.
## Что ещё требуется на реальном VPS
Сам агент VPS не обновлял и длинный серверный тест не проводил. До финального
закрытия инцидента нужны минимум 10 минут Linux мониторинга, желательно 1–2
часа с реальными роутерами, проверка online/offline уведомлений, Web Push,
heartbeat, SSH, API и nginx error log. Ошибки upstream/504 могут иметь
дополнительные причины; их отсутствие нельзя подтвердить Windows fixture.