Install log maintenance through Hub self-update
This commit is contained in:
1 parent
799ad8aad6
commit
780d036a9c
8 files changed
+536
-7
No files matched your search
@@ -48,6 +48,7 @@ Xray и недоступном SSH-туннеле, если агент прод
|
||||
<p>
|
||||
<b>Журналы VPS:</b> ежедневная ротация в 03:20, ограничение journald,
|
||||
фильтрация успешных частых HTTP-запросов и проверка заполнения диска.
|
||||
Устанавливается также через кнопку «Обновление панели».
|
||||
<a href="docs/VPS_LOG_MAINTENANCE.md">Установка, проверка и откат</a>.
|
||||
</p>
|
||||
|
||||
|
||||
@@ -82,8 +82,28 @@ VPS через GitHub с сохранением текущего логина в
|
||||
curl -fsSL "https://raw.githubusercontent.com/kzolotarev95/luci-app-owrt-remote/main/vps/install-vps.sh?v=$(date +%s)" | sudo env RESET_LOGIN=0 sh
|
||||
```
|
||||
|
||||
Кнопка обновления панели заменяет только файл Hub. Для установки новых правил
|
||||
обслуживания журналов нужен полный установщик выше или PowerShell-скрипт.
|
||||
**Кнопка «Обновление панели» также устанавливает обслуживание журналов.**
|
||||
Скрипт включён в сборку Hub в сжатом виде и проверяется по SHA256; отдельная
|
||||
загрузка скрипта при нажатии кнопки не требуется. Если отсутствует `logrotate`,
|
||||
выполняется ограниченная по времени установка пакета через apt-get с имеющимися
|
||||
индексами. Ошибка зависимости отображается как ошибка обновления.
|
||||
|
||||
Для каждой установки создаётся отдельная копия настроек. Проверяются Nginx,
|
||||
journald, ротация и активность таймера. Успех подтверждается только после
|
||||
успешного обслуживания за текущие сутки; повторной ротации в те же сутки нет.
|
||||
При отказе настройки возвращаются из копии текущего обновления. При отказе
|
||||
новой сборки Hub возвращается и предыдущий файл Hub. Хранятся копии настроек
|
||||
двух последних обновлений; база и данные роутеров в эти копии не входят.
|
||||
|
||||
Первый переход со старой сборки поддерживается: старый обработчик заменяет
|
||||
файл, а запущенный новый Hub завершает установку обслуживания, прежде чем
|
||||
подтверждает готовность через проверку сборки. Обычный `/health`, heartbeat и
|
||||
API роутеров продолжают работать. Нестандартная конфигурация вызывает ошибку
|
||||
с причиной и откат, а не ложное сообщение об успехе.
|
||||
|
||||
Если после нажатия кнопки страница продолжает показывать прежнюю сборку,
|
||||
обновить её через Ctrl+F5. Номер версии остаётся v121; новая сборка определяется
|
||||
по SHA256. Отдельные команды установки выше сохраняются для ручного применения.
|
||||
|
||||
Нестандартные правила с целями вне `/var/log`, `olddir`, неоднозначным синтаксисом
|
||||
или пользовательским условием `access_log if=...` требуют ручного рассмотрения.
|
||||
@@ -146,6 +166,9 @@ powershell.exe -NoProfile -ExecutionPolicy Bypass -File $Fix -Vps "root@132.243.
|
||||
- `vps/install-vps.sh` — подключение обслуживания вместо старых правил.
|
||||
- `vps/deploy-log-maintenance.ps1` — установка локальной сборки и откат.
|
||||
- `tests/test_log_maintenance.py`, `tests/test_notification_load.py` — регрессии.
|
||||
- `scripts/embed-log-maintenance.py` — сборка встроенного скрипта обслуживания.
|
||||
- `tests/test_hub_update.py`, `tests/test_hub_update_components.py`,
|
||||
`tests/test_hub_self_update_local.py` — обновление через кнопку и откат.
|
||||
- Этот документ — эксплуатация и ограничения.
|
||||
|
||||
Тесты Python можно запустить отдельно:
|
||||
@@ -193,3 +216,25 @@ Python `invalid escape sequence '\s'` в другом HTML-шаблоне Hub н
|
||||
18,8 МиБ. Hub, Nginx, rsyslog и journald подтвердили состояние `active`.
|
||||
Эта проверка выполнена по предоставленному выводу; независимое подключение
|
||||
к рабочему серверу не выполнялось.
|
||||
|
||||
### Обновление обслуживания через кнопку
|
||||
|
||||
На отдельной Ubuntu 24.04 воспроизведён переход именно со старой опубликованной
|
||||
сборки `8ff052b21d2b…`, в которой обработчик заменяет только файл Hub. До перехода
|
||||
`/opt/owrt-remote/log-maintenance.py` отсутствовал. После одного обновления он
|
||||
установлен, результат очистки имеет `ok=true`, таймер и службы активны.
|
||||
|
||||
Затем проверен следующий цикл обновления уже новым обработчиком: успех
|
||||
подтверждён после обслуживания журналов и проверки таймера. Намеренная ошибка
|
||||
в конфигурации Nginx останавливает обновление с конкретной причиной;
|
||||
рабочий файл Hub и установленные настройки журналов сохранены. SHA256
|
||||
тестовых ключей/настроек и целостность SQLite после обоих циклов не изменились.
|
||||
Дополнительно конфликтующий параметр journald вызвал ошибку уже после записи
|
||||
новых настроек: копия текущего обновления успешно вернула исходные файлы,
|
||||
Hub продолжил работать, а результат обновления содержит причину отказа.
|
||||
|
||||
Разработчикам: после изменения `vps/log-maintenance.py` выполнить
|
||||
`python scripts/embed-log-maintenance.py`; команда с `--check` и тесты проверяют,
|
||||
что встроенный скрипт совпадает с исходником. Внутренний параметр `--backup`
|
||||
задаёт отдельную резервную копию текущего обновления; без него ручная установка
|
||||
и откат используют прежний каталог `/root/owrt-remote-backup-before-log-maintenance-v121`.
|
||||
@@ -0,0 +1,39 @@
|
||||
#!/usr/bin/env python3
|
||||
"""Keep the button's offline maintenance payload identical to its source file."""
|
||||
import argparse
|
||||
import base64
|
||||
import hashlib
|
||||
from pathlib import Path
|
||||
import re
|
||||
import zlib
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
START = '# BEGIN EMBEDDED LOG MAINTENANCE'
|
||||
END = '# END EMBEDDED LOG MAINTENANCE'
|
||||
|
||||
|
||||
def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument('--check', action='store_true')
|
||||
args = parser.parse_args()
|
||||
payload = (ROOT / 'vps/log-maintenance.py').read_bytes().replace(b'\r\n', b'\n')
|
||||
encoded = base64.b64encode(zlib.compress(payload, 9)).decode('ascii')
|
||||
block = (START + '\nHUB_LOG_MAINTENANCE_SHA256 = ' + repr(hashlib.sha256(payload).hexdigest()) +
|
||||
'\nHUB_LOG_MAINTENANCE_BUNDLE = (\n' +
|
||||
''.join(' ' + repr(encoded[i:i+100]) + '\n' for i in range(0, len(encoded), 100)) +
|
||||
')\n' + END)
|
||||
path = ROOT / 'vps/owrt-remote-hub.py'
|
||||
source = path.read_text(encoding='utf-8')
|
||||
updated, count = re.subn(re.escape(START) + r'.*?' + re.escape(END), lambda m: block, source, flags=re.S)
|
||||
if count != 1:
|
||||
raise SystemExit('Expected one embedded maintenance block')
|
||||
if args.check:
|
||||
if updated != source:
|
||||
raise SystemExit('Maintenance bundle is stale: run python scripts/embed-log-maintenance.py')
|
||||
else:
|
||||
path.write_text(updated, encoding='utf-8', newline='\n')
|
||||
print('Embedded log maintenance: ' + hashlib.sha256(payload).hexdigest())
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
main()
|
||||
@@ -99,7 +99,8 @@ class LocalTestTests(unittest.TestCase):
|
||||
self.start_server()
|
||||
return SimpleNamespace(returncode=0)
|
||||
with mock.patch.object(hub, 'hub_update_lock', side_effect=lambda *a, **k: nullcontext()), \
|
||||
mock.patch.object(hub.subprocess, 'run', side_effect=restart), mock.patch.object(hub.time, 'sleep'):
|
||||
mock.patch.object(hub.subprocess, 'run', side_effect=restart), mock.patch.object(hub.time, 'sleep'), \
|
||||
mock.patch.object(hub, 'hub_install_log_maintenance'), mock.patch.object(hub, 'hub_prune_log_maintenance_backups'):
|
||||
self.assertEqual(hub.run_hub_update_worker(job['id']), 0)
|
||||
self.assertEqual(self.target.read_bytes(), (self.fixture / 'candidate.py').read_bytes())
|
||||
new_manager = self.server.app.hub_update
|
||||
|
||||
@@ -46,6 +46,9 @@ class UpdateTests(unittest.TestCase):
|
||||
self.manager = hub.HubUpdateManager(self.target, self.directory)
|
||||
self.addCleanup(mock.patch.stopall)
|
||||
mock.patch.object(hub, 'hub_update_lock', side_effect=lambda *a, **k: nullcontext()).start()
|
||||
self.install_logs = mock.patch.object(hub, 'hub_install_log_maintenance').start()
|
||||
self.rollback_logs = mock.patch.object(hub, 'hub_rollback_log_maintenance').start()
|
||||
mock.patch.object(hub, 'hub_prune_log_maintenance_backups').start()
|
||||
|
||||
def response(self, data=NEW, url=None):
|
||||
response = io.BytesIO(data)
|
||||
@@ -164,6 +167,7 @@ class UpdateTests(unittest.TestCase):
|
||||
self.assertEqual(manager_after_restart.snapshot()['job']['status'], 'succeeded')
|
||||
self.assertFalse((self.directory / 'candidate.py').exists())
|
||||
self.assertEqual(run.call_args.args[0], ['systemctl', 'restart', 'owrt-remote'])
|
||||
self.install_logs.assert_called_once_with(self.directory, job['id'], source=NEW)
|
||||
|
||||
def test_failed_health_restores_previous_bytes_and_restarts(self):
|
||||
job = self.prepare()
|
||||
@@ -172,6 +176,7 @@ class UpdateTests(unittest.TestCase):
|
||||
self.assertEqual(hub.run_hub_update_worker(job['id'], self.directory, self.target), 1)
|
||||
self.assertEqual(self.target.read_bytes(), SOURCE)
|
||||
self.assertEqual(run.call_count, 2)
|
||||
self.rollback_logs.assert_called_once_with(self.directory, job['id'])
|
||||
self.assertIn('Предыдущий файл восстановлен', hub.hub_update_state(self.directory)['message'])
|
||||
|
||||
def test_failure_to_write_rollback_progress_does_not_prevent_restoration(self):
|
||||
@@ -222,6 +227,53 @@ class UpdateTests(unittest.TestCase):
|
||||
self.assertEqual(self.target.read_bytes(), SOURCE)
|
||||
self.assertFalse(list(self.root.glob('.hub.py-*')))
|
||||
|
||||
def test_failed_maintenance_does_not_replace_or_restart_hub(self):
|
||||
job = self.prepare()
|
||||
self.install_logs.side_effect = RuntimeError('nginx validation failed')
|
||||
with mock.patch.object(hub.time, 'sleep'), mock.patch.object(hub.subprocess, 'run') as run:
|
||||
self.assertEqual(hub.run_hub_update_worker(job['id'], self.directory, self.target), 1)
|
||||
self.assertEqual(self.target.read_bytes(), SOURCE)
|
||||
self.assertFalse(run.called)
|
||||
self.assertIn('nginx validation failed', hub.hub_update_state(self.directory)['message'])
|
||||
|
||||
def test_embedded_payload_matches_source_and_tampering_is_rejected(self):
|
||||
actual, digest = hub.hub_log_maintenance_payload(SOURCE)
|
||||
self.assertEqual(actual, (ROOT / 'vps/log-maintenance.py').read_bytes().replace(b'\r\n', b'\n'))
|
||||
self.assertEqual(hashlib.sha256(actual).hexdigest(), digest)
|
||||
with self.assertRaisesRegex(ValueError, 'сумма'):
|
||||
hub.hub_log_maintenance_payload(SOURCE.replace(digest.encode(), b'0' * 64, 1))
|
||||
|
||||
def test_first_update_from_old_worker_waits_for_maintenance(self):
|
||||
job = {'id': 'a' * 32, 'status': 'restarting', 'revision': hub.HUB_LOADED_REVISION,
|
||||
'started_at': hub.time.time()}
|
||||
hub.hub_update_state(self.directory, job)
|
||||
self.install_logs.side_effect = None
|
||||
captured = {}
|
||||
def thread(**kwargs):
|
||||
captured['install'] = kwargs['target']
|
||||
return mock.Mock()
|
||||
with mock.patch.object(hub.threading, 'Thread', side_effect=thread):
|
||||
self.manager.resume_log_maintenance()
|
||||
self.assertEqual(self.manager.log_maintenance_status, 'installing')
|
||||
self.assertEqual(self.manager.snapshot()['job']['status'], 'installing')
|
||||
captured['install']()
|
||||
self.assertEqual(self.manager.log_maintenance_status, 'ready')
|
||||
self.install_logs.assert_called_once_with(self.directory, job['id'], budget=40)
|
||||
self.install_logs.side_effect = RuntimeError('disk full')
|
||||
captured['install']()
|
||||
self.assertEqual(self.manager.snapshot()['job']['status'], 'failed')
|
||||
self.assertIn('disk full', self.manager.snapshot()['job']['message'])
|
||||
|
||||
def test_new_worker_receipt_prevents_duplicate_startup_installation(self):
|
||||
job = {'id': 'b' * 32, 'status': 'restarting', 'revision': hub.HUB_LOADED_REVISION,
|
||||
'started_at': hub.time.time()}
|
||||
hub.hub_update_state(self.directory, job)
|
||||
with mock.patch.object(hub, 'hub_log_maintenance_receipt', return_value={
|
||||
'status': 'ready', 'sha256': hub.HUB_LOG_MAINTENANCE_SHA256}), \
|
||||
mock.patch.object(hub.threading, 'Thread') as thread:
|
||||
self.manager.resume_log_maintenance()
|
||||
self.assertFalse(thread.called)
|
||||
|
||||
|
||||
class HttpTests(unittest.TestCase):
|
||||
def test_owner_csrf_origin_validation_and_revision_health(self):
|
||||
@@ -257,6 +309,12 @@ class HttpTests(unittest.TestCase):
|
||||
start.assert_called_once_with('abc')
|
||||
self.assertEqual(request('/health')[1], {'ok': True})
|
||||
self.assertEqual(request('/health?panel-update=1')[1]['revision'], hub.HUB_LOADED_REVISION)
|
||||
app.hub_update.log_maintenance_status = 'installing'
|
||||
self.assertTrue(request('/health')[1]['ok'], 'normal heartbeat health is independent')
|
||||
self.assertFalse(request('/health?panel-update=1')[1]['ok'])
|
||||
app.hub_update.log_maintenance_status = 'failed'
|
||||
app.hub_update.log_maintenance_error = 'test maintenance failure'
|
||||
self.assertEqual(request('/health?panel-update=1')[1]['log_maintenance']['error'], 'test maintenance failure')
|
||||
finally:
|
||||
server.shutdown()
|
||||
server.server_close()
|
||||
|
||||
@@ -0,0 +1,97 @@
|
||||
"""The button's maintenance transaction, per-update rollback and bounded backups."""
|
||||
import datetime
|
||||
import importlib.util
|
||||
import json
|
||||
import os
|
||||
from pathlib import Path
|
||||
import subprocess
|
||||
import sys
|
||||
import tempfile
|
||||
import unittest
|
||||
from unittest import mock
|
||||
|
||||
ROOT = Path(__file__).resolve().parents[1]
|
||||
spec = importlib.util.spec_from_file_location('component_update_hub', ROOT / 'vps/owrt-remote-hub.py')
|
||||
hub = importlib.util.module_from_spec(spec)
|
||||
sys.modules[spec.name] = hub
|
||||
with mock.patch.dict(os.environ, {'OWRT_REMOTE_STATE_DIR': tempfile.gettempdir()}):
|
||||
spec.loader.exec_module(hub)
|
||||
|
||||
|
||||
class ComponentTests(unittest.TestCase):
|
||||
def setUp(self):
|
||||
self.temp = tempfile.TemporaryDirectory()
|
||||
self.addCleanup(self.temp.cleanup)
|
||||
self.directory = Path(self.temp.name)
|
||||
self.job_id = 'c' * 32
|
||||
self.result = self.directory / 'result.json'
|
||||
self.result.write_text(json.dumps({'day': datetime.date.today().isoformat(), 'ok': True}))
|
||||
self.addCleanup(mock.patch.stopall)
|
||||
mock.patch.object(hub, 'HUB_LOG_MAINTENANCE_RESULT', self.result).start()
|
||||
mock.patch.object(hub.shutil, 'which', return_value='/usr/bin/command').start()
|
||||
|
||||
def test_success_verifies_cleanup_timer_and_exact_payload(self):
|
||||
with mock.patch.object(hub, 'hub_log_maintenance_command') as command:
|
||||
receipt = hub.hub_install_log_maintenance(self.directory, self.job_id)
|
||||
stage = hub.hub_log_maintenance_directory(self.directory, self.job_id)
|
||||
self.assertEqual((stage / 'log-maintenance.py').read_bytes(), hub.hub_log_maintenance_payload()[0])
|
||||
calls = [call.args[0] for call in command.call_args_list]
|
||||
self.assertEqual(calls[0][-3:], ['install', '--backup', str(stage / 'backup')])
|
||||
self.assertEqual(calls[1][-1], 'run')
|
||||
self.assertEqual(calls[-2:], [['systemctl', 'is-active', 'logrotate.timer'], ['systemctl', 'is-enabled', 'logrotate.timer']])
|
||||
self.assertEqual(receipt['status'], 'ready')
|
||||
self.assertEqual(hub.hub_log_maintenance_receipt(self.directory, self.job_id)['status'], 'ready')
|
||||
self.assertFalse(any('owrt-remote' in call for call in calls), 'component installation never stops heartbeat/Hub')
|
||||
|
||||
def test_failure_restores_only_this_updates_snapshot_and_records_real_reason(self):
|
||||
calls = []
|
||||
def run(args, deadline):
|
||||
calls.append(args)
|
||||
if 'install' in args:
|
||||
backup = Path(args[-1]); backup.mkdir()
|
||||
(backup / 'manifest.json').write_text('{}')
|
||||
if args[-1] == 'run':
|
||||
raise RuntimeError('logrotate failed: disk full')
|
||||
with mock.patch.object(hub, 'hub_log_maintenance_command', side_effect=run):
|
||||
with self.assertRaisesRegex(RuntimeError, 'disk full'):
|
||||
hub.hub_install_log_maintenance(self.directory, self.job_id)
|
||||
self.assertIn('rollback', calls[-1])
|
||||
self.assertIn(self.job_id, calls[-1][-1])
|
||||
receipt = hub.hub_log_maintenance_receipt(self.directory, self.job_id)
|
||||
self.assertEqual(receipt['status'], 'failed')
|
||||
self.assertIn('disk full', receipt['error'])
|
||||
|
||||
def test_failed_or_old_cleanup_result_cannot_be_reported_as_success(self):
|
||||
for result in ({'ok': False, 'error': 'UBIFS error'}, {'ok': True, 'day': '2000-01-01'}):
|
||||
self.result.write_text(json.dumps(result))
|
||||
with self.subTest(result=result), mock.patch.object(hub, 'hub_log_maintenance_command'):
|
||||
with self.assertRaisesRegex(RuntimeError, 'не подтверждено'):
|
||||
hub.hub_install_log_maintenance(self.directory, self.job_id)
|
||||
|
||||
def test_missing_logrotate_uses_bounded_package_installation(self):
|
||||
with mock.patch.object(hub.shutil, 'which', side_effect=lambda name: None if name == 'logrotate' else '/usr/bin/apt-get'), \
|
||||
mock.patch.object(hub, 'hub_log_maintenance_command') as command:
|
||||
hub.hub_install_log_maintenance(self.directory, self.job_id)
|
||||
args = command.call_args_list[0].args[0]
|
||||
self.assertEqual(args, ['apt-get', '-o', 'DPkg::Lock::Timeout=5', 'install', '-y', 'logrotate'])
|
||||
|
||||
def test_command_errors_include_stderr_and_timeouts_are_bounded(self):
|
||||
with mock.patch.object(hub.subprocess, 'run', return_value=subprocess.CompletedProcess([], 1, '', 'nginx configuration invalid')) as run:
|
||||
with self.assertRaisesRegex(RuntimeError, 'nginx configuration invalid'):
|
||||
hub.hub_log_maintenance_command(['test'], hub.time.monotonic() + 5)
|
||||
self.assertLessEqual(run.call_args.kwargs['timeout'], 5)
|
||||
|
||||
def test_retention_keeps_latest_two_snapshots_and_ignores_other_data(self):
|
||||
for number, char in enumerate('abc'):
|
||||
stage = hub.hub_log_maintenance_directory(self.directory, char * 32)
|
||||
stage.mkdir(); (stage / 'keep').write_text(char)
|
||||
os.utime(stage, (100 + number, 100 + number))
|
||||
other = self.directory / 'router-data'; other.mkdir()
|
||||
hub.hub_prune_log_maintenance_backups(self.directory, 'c' * 32)
|
||||
self.assertFalse(hub.hub_log_maintenance_directory(self.directory, 'a' * 32).exists())
|
||||
self.assertTrue(hub.hub_log_maintenance_directory(self.directory, 'b' * 32).exists())
|
||||
self.assertTrue(other.exists())
|
||||
|
||||
|
||||
if __name__ == '__main__':
|
||||
unittest.main()
|
||||
@@ -522,6 +522,8 @@ def main():
|
||||
parser = argparse.ArgumentParser(description=__doc__)
|
||||
parser.add_argument("action", choices=("install", "rollback", "run", "status"))
|
||||
parser.add_argument("--hub-candidate")
|
||||
parser.add_argument("--backup", type=Path, default=BACKUP,
|
||||
help="Configuration snapshot for this installation/rollback")
|
||||
parser.add_argument("--force", action="store_true", help="Explicit manual retry; daily timer never uses this")
|
||||
args = parser.parse_args()
|
||||
if os.geteuid() != 0:
|
||||
@@ -535,14 +537,14 @@ def main():
|
||||
except BlockingIOError:
|
||||
raise RuntimeError("Log maintenance/install already running; retry after completion")
|
||||
if args.action == "install":
|
||||
install(args.hub_candidate)
|
||||
install(args.hub_candidate, backup=args.backup)
|
||||
else:
|
||||
restore(BACKUP)
|
||||
restore(args.backup)
|
||||
if args.action == "install":
|
||||
try:
|
||||
command(["systemctl", "start", "logrotate.timer"])
|
||||
except Exception:
|
||||
restore(BACKUP)
|
||||
restore(args.backup)
|
||||
raise
|
||||
elif args.action == "run":
|
||||
run(args.force)
|
||||
|
||||
+287
-1
@@ -1,5 +1,6 @@
|
||||
#!/usr/bin/env python3
|
||||
import argparse
|
||||
import ast
|
||||
import base64
|
||||
import datetime as dt
|
||||
import dataclasses
|
||||
@@ -37,6 +38,7 @@ import urllib.parse
|
||||
import urllib.request
|
||||
import uuid
|
||||
import warnings
|
||||
import zlib
|
||||
from http.server import BaseHTTPRequestHandler, ThreadingHTTPServer
|
||||
from pathlib import Path
|
||||
|
||||
@@ -15979,6 +15981,115 @@ class RouterUpdateManager:
|
||||
|
||||
HUB_UPDATE_LIMIT = 4 * 1024 * 1024
|
||||
HUB_UPDATE_ACTIVE = {'starting', 'installing', 'restarting', 'rollback'}
|
||||
HUB_LOG_MAINTENANCE_RESULT = Path('/var/lib/owrt-remote-log-maintenance/result.json')
|
||||
|
||||
# BEGIN EMBEDDED LOG MAINTENANCE
|
||||
HUB_LOG_MAINTENANCE_SHA256 = '03c6a6843ed2e0b287502f165f716cb56305acc8f8798afd51f57d394862455d'
|
||||
HUB_LOG_MAINTENANCE_BUNDLE = (
|
||||
'eNq1PGt32zaW3/UrsEx3SzYSJbtJmpFX0+OkbpttYufYznTnOK6GJiGLY4rU8mFbcby/fe8DIMGX7KQ7nTOxCAIXwMV93ws++bdx'
|
||||
'kaXjizAey/harDf5Mom/H1iW9Sop4kAG4m/vT0SUXIqVF8a5jL3Yl644lNcyFclaxpnIl1L8WlyIwMu9Cy+TIklFmhQ5dPBSfxle'
|
||||
'y8wdDD5kkrsGYZan4UWRh0n8bYag0yT3cinSIoIuXhyIVCJksUySq2wobsJ8CU0wNw4ZJDBzGgbQNYyFJ3K5Wiepl26En8SL8LJI'
|
||||
'PezmiqMYVnITy3Qqsk0G3aqp3DxcydTFXQ5CHJ7DSi/XXprJ8jnL9U/Yl8QB0CaCsvUySi7076WXLaOwfPxnBstUv5NssEiTlVh7'
|
||||
'OXYRqvk9POouaTkpQJG31QOgKCqfYN3l7+JinSa+zLKyZVP+RHwswqiEiSsfDN7tH/92cCxmwnoi3nmxdwkHe7ERR4Dm36HTsVwl'
|
||||
'cAKNY7YGbw5PTvffvp2/3z/9FQbjqm1rnKzzcXKT5qOUho1h2MikjvXGcgav9l//9uF9NShNktqo0YXnXxXr0YVcJKkcNWCMrnd2'
|
||||
'dwAKTH96UAG59tIxYLEGpzESBh1/ODTmLeKHuh+cfHh72pgkuayNMrcH72DUrx9e9WPEHLosLhgjbw9+2X/992qQzP1xRZKBOQh6'
|
||||
'vz96+4Z6Wx9jAf8FXhht+OfKu83CT1LsTt5xg2KgnfI1nK9+8pPVOgVS4ac4CWTkbapGa/D66PDnN7+cwEx3A+zCC2OWCcb/TIo0'
|
||||
'9qLARe6qL3IUhaswz+iNNRWKxJ4K5Kqz/+Jx54MTAvTOuwUBMHs+eacafpNy/XMqsalsg04/A+WewN5mO9B6XMRIvWrszouypRz8'
|
||||
'4tm7Abw+1sLhRPqzHwJvM3itNjjbyAzZfNixNf47bkqF2h67N3eKHc8HR/FrL5Jx4KUz8/d3I/ifmHw/3Z1MJ5PBvu+DTPI3uLad'
|
||||
'VRgPjkHEJSvYZPATngW2TwbvZZqBYIRtzPK0kI9ecybT69CXj1n1CXc9HxzcSv8k99J8Zvws1YBSAeIRbA4iOx4cAkw4rsGboxN/'
|
||||
'KYMiCuPL15EHuA8DEEOIK1AGNAlu9fsJ4qCxvfgyjG/HXSQGc66TKPQ3nXt6AlI+2pC2CUHcZ4WPUnFRRCJPvcUi9EWYif8pQpnv'
|
||||
'CdAaScr6JQE9BMrJR5LJQP7irtzBylsL65siDaffoLQtMkt8g2uZ81rmHgGfo5BkTgnkwiuiXOzs0eP//jH21uE4TvIQZiYtlI1v'
|
||||
'vDCfnu1+f342Gf2F//lGTGoDsmw5AuWYQf/x2R/j86fjVHrBA4OWEvB5Ib2HgLMiRjxmXT3v+STuB4MB7EZ4ORCmb6OyGpI+H4oV'
|
||||
'SIzZJHkxmThTAowvtRDD307Z6oIGBQJ2V1dBmNr8kM1OgZyHQt4Cdc+TK3rkIeGCR4XZPNusgGyubDUFyTQvBFNCMfwBnp1tHctF'
|
||||
'kQF5CdV/KiwgBDAneCEMdhEMReyBup6VuhBWhGyztkEmLMLbmeXiOJqcegIxuRZsOExnxj4YXJ5uqkWRKZJk7iJAA8XGqaybC8tB'
|
||||
'0wCWIb1V1Rf/w67+ElBo81sXVxMntsN4dWqdVZebNMyljchHDIWwX6BG4Debz+Nik8vMETIC7GCLK2MfQNlOJ7BFVGRL22ktKtvE'
|
||||
'fnNNVS/okcp15MGkiJ+hqM55EYJUjwyUwBqhO6GNzjijIU4LD0VMJ0wvFbWBFloBO9pge4GZl7OgmO3sToYCJImvaIUhgTBHVpsZ'
|
||||
'xo8L0keNzfIAhxrv3r95f0DtwPZm+8npT0cfToe11TX/0ytRf2Fp8jbXdExSZGYp/FglKdOKlfWKSwUM5qAC8Wy2EvXCuiOzz/1n'
|
||||
'EvJ2nPupSP3ZXQvO/Z7QjbzhsxGw5WR6fq+WwV3VAhSSU+knaWBHYLBHQHWAAzAOFFKB99FKzlZwpBrDSA1DEARAoFkuXjwTv4Wv'
|
||||
'xBrISCTQVT+n8jpMoI24CyUxgotQBs+EHeSutpndOLmxHResaXj4BBDgIcwSMPlWXm5jY7YGpWBlsMo4yICTntaOZmGJszta+/15'
|
||||
'yex6EyWRgokE7GsJyzmbPgOMnCNHQ5tTMgfLqBSUl42rdAPJ7W6KzsgaGZJYpS6e2DKsCSh0blQzCoN5VoCaubUttApdsFi/QJp9'
|
||||
'iDNvIU2DmwxwZCWruQTFWg4RmGpDJQU7ALFK1uBTAWxMu3PEX8WL58+/f9EQXGociS4r3SK2lGDIpLyywZq0gSFJaOCETaFRzj/i'
|
||||
'ORtyqKSUmYaKys3mrmVPpXe2IXZYgqqGPRFoCZJXicr8WoJLCMcqvGswlr2LSIo8ETgfGFfuNlw8fRgZYJXFoNSlPdFqBrYEWCEI'
|
||||
'DI2wdDT//fjo8O3fxWd+en18sH+qH/bfvz84/Ek/HR79fPT27dHvQ8H6ddCnYrye5dU0Bp28YvpIXoLFOWfLiZTjjL0PRZJAWGCm'
|
||||
'CFNqm8TKYuRnD3TMYzR1szuuBA/8jFhNMZgAnmcJAW47QcODmaNoRSJeR2FO4xrKCueugUEGwLVTY6RakRfSPEPc2dYTyzknGPIW'
|
||||
'ZEsu8aDuLPKfUEooZ+kH/E2EC04J/l6FGdoWyRU+kBEHFkO+sdq6wtLuE/as+VPY4CdgQStise5NuWxrBgX9PZuJnQlthhrOQGZB'
|
||||
'U+V8skX8nUvWplVbQjVotMOj7i1qzCRLt+xsZwqvaBKNA00ZBJcJI5TlqYMEB3vOX7KZRhYW2BzgzARg5GIDW7N7Iqa4jxcEwhMs'
|
||||
'swWbxSi6LjGmQvAyIMhsBEINeDAQYEulIYZ2Ukk6P0GbXRFSNhUcCBjLIMyRlcMUVVESXcuADTDQiTKnaE/lKwyBxL1rXCgyv4aF'
|
||||
'D6tMwlDsnoNMcPX21DnEIAqIILTtcWYRPDy40al17ijNOmDXGQNKSMl3fI5IwiT40GgMUdGCHAQ0RZGdWn88qUegqKewz/74GJ8/'
|
||||
'dabfwBR6fvzlvjNYyLSp9QSo3ggNBkcAM5TWLtPLl3lPNTqCJjjZQprQkbPKGWpcZcxkkRYsBQhIBVyz3bD5ulVeyZMEqo6xTnOe'
|
||||
'SACEBKCnKTXK9+S6BMEc6TFESKC1gJobCwLzXrKWmAl674ITXay1QDewYPX4fRYeeglm2hIMis/LHk24KfrrGBMFcvl4ES5m7HRw'
|
||||
'Z6cDXgcKXxcZKEuFPpQO5aYBPLi6QDSwu7jw0KK7DuVNL1ZZgzKgWMoAfWOUFygacsEmmuDwnEjWOAPABNcIaDNHhSo+XMDKim+z'
|
||||
'BkTtFoPrnYWrNfD6PwzXuSHh+A2Kub1/uE3LAQwAOKsSQ2co1Zo4RZnKBjTpEOXiOcQeu22UKqhPgXdQBlyAuAzq4lUdou4I/eCg'
|
||||
'eghirxparNHmRdGCp1xcwBHbP66cPz5m31X9P2ZPO/f/ERFg/ziF92d/7JHA+HEPiKNG1OyH1ISBnvTfZvSuxd8ovs7KowdloUeY'
|
||||
'akn1UwpiEXk5mKNzblWhALAE49khmO+VvjgGPgTnGKgR5jdj+hqeVhbyVvoFKFyK5ougSFFqY6wd/pauQ3dQAadFwxH0mkOyD5+B'
|
||||
'rHAl7AFji2miIINSLzQ2kDLgN5rDO7svHwot+AUs6ZqyF5hiQNMgMLITYexHBfhyXdwUxotEy6eIzfJeu0mLTuzmnszfnBwf/GIj'
|
||||
'ADSkKSiAPXRDEdLhTsw27CT+A2zGye7uQx6GPqBqH3w63dtYlHOQYfRXsftid+fZs+2THHUga8skeCIu0LVxzGSzAJH5YMuhnD87'
|
||||
'HxrW5GPtxitwBUC/ZmbUgAxqcH8BqGlEKlEBDuNQ7Dhge5k8Rf1hLttahOAdcpQQ7QOQCLw9egDvuHqKvGZHkBTX0mrI9HKHuMTy'
|
||||
'jYz0rKjRcQvUzeoZW2HG1Nn8lsMPLmk3NElA+Ci6BckCSyMfoQ53jSoemcyQodhtSCZSGcFzuuQujXWQQHc1WXPbmTJMGzkOMkKw'
|
||||
'57ZOQa1H2wYxUyaW80itCb52scZ8WD9PmwTS2C13q+QTL63eyV+GUZCyvKJ5bDXMBVs4xYCo4zCHqdZsTo0sx85Uc129IekTXKRH'
|
||||
'PUF7wxR9gpcVTMzAGrYGaJb//fzRhT8X3tXnJAo+g8Am2/xzsL66HLlPP6frVSxv8E/mgS3ioLnKQDvCeb0WZHNFeL4q7UVeS80t'
|
||||
'/VKgxOaut0YutxtqimZjPWUcHqK2PkkNBnvMpVBinjXkUhlztCyOzrHvNjA4gLuQhpk8e/n8hxfbZeXbhoQE5eiT5bUj3oWvuqJ4'
|
||||
'KpJVBvNUokvvO0uK1De0MsVD0FsDReaDoMzlOCvG9Xy6TqAL8sNKkGINyhrdvk+e8uIo3C6FB1bSZYExnGwDTtUtHaX2ysBXyhCW'
|
||||
'Nmu0wejFG05LYi6eoL2JialDv4i8dAjCAvzBizCn1L3KYrHLhI6eSvQKH03SGEsJfHD44mJdd+hg9jUGaNdIDGkMm1tStGcoLqLE'
|
||||
'v1K6pPr/oJKkQ5iHVq4kap/KYQw/RtGQ7FjLprIxRTVPWSdJpZ/06H7d1C3u/4Xqql9llWqruZBtGmyLFuveWoVQinG0oT0RIMtA'
|
||||
'4oHDsxFACGW9SYssp0DnRMx5wpSEoQIQkS2QFMafb1mmpo8QK0oA70Ro3ZJMnSz2fNjyaKDiX3ysPdttHfKX2ShfjEgzd6L6boHY'
|
||||
'pxgq71obPmD3gLJj4visVKvDJhCexhaEdElthjPWZoCSGyjsWFxWjrcXrMIYfSEvJxWM/rfltCZjseWCCYtqiCiot5PSVaocBLTB'
|
||||
'PSY22hqXFlXJPSXTzs7bPNvgMtu6o7hGyW1Jaggjw/q6/5PWFi+NdUjpGtA0TmORWUdshUa3Nfe2YBbrgr79gDkJ5PCt9S3wyret'
|
||||
'rfHY/vkwSsR4w3ft5erYgmE9MEin01hSvcFCBkTiiZBVvYNrL98p0XHHooNMY5Ip3cT80LmEMWm46niYljtIS6v6uo/Qs6zJ+VbH'
|
||||
'QUtPhonoU9CnfVyN1Mp96q6ADqNwMNJyXToMMtC5u+OSof5lrF5WGCB3q0W2dQnSrpqkHWBSpojmbrW/h4RAH3Foe6Y0VtCQabiP'
|
||||
'TXapS46KdmssoQAiczTkbhde3sSY4ohkLltevgre1o1XTfO8FKey0HShCSvqOToXNufuhmjsBSGGp+pZqrLZJACvGTNtZaE4gYih'
|
||||
'fj3+DC12PfDcXO5FkkQ2RvOLKNI6BMNx7sfgKThO6DGdjdzzj8Hdy3toV7+fDV/cOz861BH+ufz0+fbT54tPu58/Zbnj/AgMwWtw'
|
||||
'dPIFrfA5pSjLzAs2kZSgIFdpfXLMMwHTWBO1NcYSBkwwa3dy2gwClIPIZwNvMAgvgTWdB8L+tQqXMs3B1ke1jrGwFkH39L2AKuVE'
|
||||
'8bFF4BrBsRY/ECYoNFTGwwJ5PSxjUoA4pz0UPSjQZFg4eJjkP2PRMtFs90rWXlaFqx83tByiaIXXqU50nRaxnGuzUxHXHF1I8EXk'
|
||||
'SgLvx/5mprRxnNxQFHWogJghVXiHFUtYM4H/cMATG2vxTmiok02NpKgYh9/URqkl8ybQJARXeZFKAjAZiklJdmUWXccwkCo56MEJ'
|
||||
'3DUVXRu7dNpkyK+rtJAoAbcCoaq5THSh0vM6kistmqXIiObrak26Aq2HSPUC28LH5TqnStT0RD06bVBF3tXgqIPMy+TaY8K+VCtF'
|
||||
'FsBjl8DQS4pTafIbMarCxlTD/p8z8fLFs8nk8XD7mRHxzqT1SGgRICfLH4Mqm7uW01aPMLH5SLuaxxyF7F3qsI4F7P/IJVcrVQVs'
|
||||
'DrqdVHV6LdNwEQIT+VGSwR8tBYY6S87MhKWXbiPDRDyISaiduuAlnoRmMwxfjwmZ3KtkUBBmV3OqkSq1Shm5UvY/sa5Kj7DdWxpQ'
|
||||
'pndYYFkV2Xl49cAlwNRmBMXY735H1QLBYsp2ORbRYgwHVr+g2x/EZZK5zSzGQbOKylXMgpyyxzwHwyLCLBVO6haI1afqAXdc5ctl'
|
||||
'6gOfCyyimIjvzP7jFjggp2YTSUUYWgIk9KGt/vr4zemb1/tvLUreqGn+Kv4y4THW7/vHh413PzxX745+swxzhOr0lA2m0mhqzJCn'
|
||||
'c/qL9lQ8bM51yPpUEbW69AC8UuO6AFas6DKGNNtkeK5Y3sJV4yNdxG/V7CVFIlUlBHf38wjHhtmICdjictpzXZRJuqyiBS6qW1h3'
|
||||
'2Ol+2qhQ1D4KVijy1q69iPhprhalI5lqaXKxkMoczCTFMqj8AhZktUJzzZUHIw8Abj4RPnwvHzFoAxP16wxVuUet/mjarDvoi+bh'
|
||||
'65pTctZK+JRbwL71jE/5DqiuvC5hlfVNTeBY1wQb2QNPlfpYM3J42mnfK7kZIpYLqabVHtqMPLS6q62xfQaj9BYxTUzja3tGxBug'
|
||||
'Yeo7y7zbYYFbpCqp6jc8+AW+6fPErMYVDhyBtzgQlr7IgW0bmVn3qNtXWcP6Lffhgq9lwzJJHdBKHy5K2Y/5PoCmjUYZT3XfDN0+'
|
||||
'gI1BmL3OUI8OBAUltWOJMmDOl4ptlGPDV7MWfpxH1EDXnFTdvCq4/2EyQa/pgRr64w+HXzOMigxtvCcFZj0KcDDsuRTS40rDelCz'
|
||||
'7SHgyt0F9rLxn6FqeXv0+rf5wX+Lz+bz4SunaXK/wkHgZr856jK4SaIAUVR1sV6ESV+6bxLDsD2RXVE8pxGtYFFaLTsBIsICEq5H'
|
||||
'dum5VoDsGMF7b7WGvnzhbMzB1BE6rat1bjVNXDpSFaOGcfXyXG6qZalV7SKwOq2hc78/YYGiUDOWO16Bv74nMHINexejEc9MZa1w'
|
||||
'KlSxgxjcjogn4nfUuTo3c5OkV1MBKgjvT6rCeOGnXrZEc4ddbkr86BI/qp3EBbjNil3a61BhWhVd95MNM1YVDKBimUZGq5HY60wh'
|
||||
'N9xAT1d1ndVcFZ5ElQ3wfKULg7c3XfzHVu+cRqC0NKRnmMqyK23/8jlBmRvafM5lYYYVVl+fQvus3qflcnfZCJRhoOFd1WZmZf/C'
|
||||
'UtPcIRxUxArS1N1Z3P87klCTXXTVtRYDNRwP1Wk1w6xa5ZbdqXRyFMiLAjUtVnt0A3TOnS4ruPJEO31p04sufzVr2E7QKEJbCS+p'
|
||||
'4S2MjCuSkipYNWRbFJntmmNXq7XUla55IxHUu0u8zYUsOKJBI5Kc9ILY8oHtG1dcnk8mfXhVWkhZYaORmt4Y/aIx9trzi2JVs+Sa'
|
||||
'QLjLCCHMdoJaG7oYM9RstrUDSpq0aUn8bNeiWm+e3gpIDbaLZUJff3KGI4Twun2h0gcqyXaB+eBt3FTatlj2vQHTgeQT7Dq5ggfW'
|
||||
'ipZe7lytwpqWJNljqFh098roT2sEUOX2oK383QuF1k2bgO70F0As0JhYymDu5bjeKgx038WypZZSxjbeOIdTxT9uUKzWWVmY0JTJ'
|
||||
'huBAfwXlho7sBnuiiRO8hEQ/7vdEbfOzO9o7NFeHfFf+xItKTF7lRaXn5j2lx0g9QszDQo+JYYvM26u+S4DKGZpSakFTBNN5TaHI'
|
||||
'2riflfD0RuRvmu5Ds2xI2TkH9AetSBBJ0Db9usPsJGMVU7RY/09J9MAUTnkpbPvhHxwfHx1baB36TttErgJtzft++F+fiNMxEnWV'
|
||||
'orI5lVcbe+tsmeS2io9y4b+yifnha4xZOKhwIaFVFZEyJFyffsMo1TmFWv+O6y/6PYCiM4gSL8js+ijDuuNF1LMwBog7C6Og6L9g'
|
||||
'5saiO+ZzdTMCGvu9b91naOKZhlsNX7xBhd2CR82sfPrpY9z+L5yXJdVVnNyQz45+2plFt9nOaxUTGjlnCjPn960YFRFI9/WIeiSq'
|
||||
'diECBtLsD19z2HKb6cHMINnedO9w6zVkmgl3jCRAWJhWXZBtie6gsUaF6v6Q6ov5qha2HEMl6K20ibhZltwVZsW6FK4HZ4bTsel3'
|
||||
'Rz8d1GPTQ1GEwcwoSh6KS6MBfndaliUnMi3Qzs6HRhUv6RRTbrZ2qyNoVLYxMGDX+LEmLfWbMu0GchV8dGnX5E03l9t9wsNps3wP'
|
||||
'B8Fc607mqeIovZzQTfImJ9XLyeiFoqTzTuXC2Ok+Cad2CEP1Dg/cOm9dGfeXwFkKHHcEMsDT5IdLfNhWeUmH3qcftqAz8MDiiEep'
|
||||
'xAPSU/T0xYP20rwz9Hle5sBVdPtmGfpLW8VNDc7puhmWNxD/GOHJo5sis7rNjdGAybTHC2hsi/ZewXSaquysoVfOVZmW0jKDBybg'
|
||||
'jluItn6cfSfFNcVbwHSsWOGLF6yV00MzlafcPw867TUNNKMSS/vXD6+c7TzoPDi9QWZmEP7cvGVuva4FEZUIClyxr0NZtO5gHEiy'
|
||||
'vavSRRWCuZDVoDKcSN+CiCJ7WVzMy8yUSikzi8/4u0tGxoDv31AChvIGNZe2bt3WkdyIqbcTvTVGqqZ5hDJ9xwJAUI3i/xQh3hdl'
|
||||
'LWqAGXwBs7U+iPOArcKoqMbTLw/jAdYDt/Z/9/hyHF08VfHI9gfGdEEzGAvs2VU3+rkevh4ypAvNfcXxW24BbvuGFCyyiMH9qV0G'
|
||||
'NCPUKlD41eE3LCcy6bCVNyHlVevidF7f9EDJ0sfX7NYFN+vo9+PT+fHBu6PTg/mvp6fv5z8dvPrwi0UY60x/dGELv05XVQsECXAZ'
|
||||
'RTnBMvTCmD9gB7ApO7kIby2ncf03CP3cVt/JcgZ9HNClSgiCu07W9hde1e2WuwxO2WzNq9zVh3jo8v13qjsHpcwvuTncpL4IgB/L'
|
||||
'sM+0bDxvHau6oKKkW48P1/5UztdZR/WoAB4QRl3D8lJhO/vTsnXUIPqowrNnrW9MmIgYMonOqVBlPm/aQ+CAPn9eI8etF1gUY9fq'
|
||||
'BKJABAXeqG3Vy+mAJNNcZEQg+/nK2Aac1bCfwfq2oAPw8/+HyPtXpp7agWedEe6LO3ekER4fhK4DN6OYWyMbjWFbDdcvNV67+tdS'
|
||||
'11RYsulWa9tZpze5XnOYtwutR9nA/1o7+Mtt4T/nFDzMdV9lCdavQiylFyG78rdC3Wzp7T5/gXxcd4XdpbwNwksAbPrFTwR9QI9U'
|
||||
'1br8VCDFiVO+x8WBUPyYEHB2JL2MbsGklMkFq1Mg6aoaQAboq+8VUiKQqmz5u3g3qD/D1UoGIaCB835kpIBFqtKuGM28KLKN+6cd'
|
||||
'C8NgfkWapIqlKM3S6vf26Jf5u/03h6cHh/uHrw/mWqAf/aaVZiP2Wqt5MQMBdQtLf5TMPCw0mvC7fPW8fZFGeIJoSgHAAaPzMMFU'
|
||||
'6u1GyPg6TJMYK+BBkmRLGUXiJowCH7+mIm/XXpzR92mPKYFL9AOeOX2kMFIY9aOQq5vqM7kXBcCZU8ldajfevcfJf4UziODd3b1T'
|
||||
'RRt0Shkpw4svpb3z3NmS26faAF6BqglY5vl6Oh7v7P7gTuB/O9OXk5cvx4yiH2E/MhqxSTLbsao01fdUSAAoXydx14UOCsIbwRdb'
|
||||
'd+28IUGfusPiDgx+s9FcNeljsijFrp967kXUU+OKWOyjE7IVh+JvWDRCv52eOmD9iTg3i6Rc26qkps/uZDSpz8MtvBA/iMO8qoWH'
|
||||
'du6Qd+3yI4tpRkku/V1idz+9LJCm3tMbO5Bctg/7nM3nQeKD+WKMxDLquaeGsKNDSQV/mYAWyWa2pVxJ/iJSFCFL0O8iVh42fgDT'
|
||||
'2QJzhF+2HZXy0tralTkOqWOzlrP3/H1J/k6I8lj7P8kHHLSeNfxpbYYqTyzMtGtMr8fljrYuSidtGTszi4TDHD+/ag3VrAf6cyil'
|
||||
'FwX8sqcKIlj6crFnwZ+3DjM1JX7Ij2KvNDP9wbmz6ssQSYbEK4sw4LrniRn8o1FSRZ4LSh9hUWXlRSIslxfOvmzXeZoue7Pk6E+a'
|
||||
'cF9YQdR7PeCrK4keW0205Sq2+em9scJfu9RIFdoQy6pUaXXdxZBQ5olgMEsfyLTrrh5FcWhEzegoozj0qqmm+i/HacXWOezRa+s8'
|
||||
'oK8MwfUlQr9w7e2kJNVONveDUstQ8+q7oC4xeJcn3Uzy1rYWAcFTqUSadW2QPI04Ga29S9quiiw5gz+TQW6O7k4K18InVCbf060M'
|
||||
'LnEBB9gm5lcmVXnERuZWl9fdzsV3VJjXl6vS8Tx+YdXT8MYkzbpm0HywizndxJjP6Sjnc1zqfK7Os0aTrCEHvQn2Ovcre5ES3ZVZ'
|
||||
'SZ3wc5+giWdw7i5/I9ZY4wbv7oU5Kvb/A/M9qWg='
|
||||
)
|
||||
# END EMBEDDED LOG MAINTENANCE
|
||||
|
||||
|
||||
def hub_update_write(path, data, mode=0o600):
|
||||
@@ -15997,6 +16108,115 @@ def hub_update_write(path, data, mode=0o600):
|
||||
Path(name).unlink(missing_ok=True)
|
||||
|
||||
|
||||
def hub_log_maintenance_payload(source=None):
|
||||
"""The confirmed Hub includes its exact maintenance script: no second URL."""
|
||||
digest, bundle = HUB_LOG_MAINTENANCE_SHA256, HUB_LOG_MAINTENANCE_BUNDLE
|
||||
if source is not None:
|
||||
values = {}
|
||||
with warnings.catch_warnings():
|
||||
warnings.simplefilter('ignore', SyntaxWarning)
|
||||
tree = ast.parse(source)
|
||||
for node in tree.body:
|
||||
if isinstance(node, ast.Assign) and len(node.targets) == 1 and isinstance(node.targets[0], ast.Name):
|
||||
name = node.targets[0].id
|
||||
if name in {'HUB_LOG_MAINTENANCE_SHA256', 'HUB_LOG_MAINTENANCE_BUNDLE'}:
|
||||
values[name] = ast.literal_eval(node.value)
|
||||
digest, bundle = values.get('HUB_LOG_MAINTENANCE_SHA256'), values.get('HUB_LOG_MAINTENANCE_BUNDLE')
|
||||
if not isinstance(digest, str) or not re.fullmatch('[a-f0-9]{64}', digest) or not isinstance(bundle, str):
|
||||
raise ValueError('В обновлении нет проверяемого скрипта обслуживания журналов.')
|
||||
unpack = zlib.decompressobj()
|
||||
data = unpack.decompress(base64.b64decode(bundle, validate=True), 131073)
|
||||
if not unpack.eof or unpack.unused_data or not 5000 <= len(data) <= 131072:
|
||||
raise ValueError('Некорректный размер скрипта обслуживания журналов.')
|
||||
if hashlib.sha256(data).hexdigest() != digest:
|
||||
raise ValueError('Контрольная сумма скрипта обслуживания журналов не совпала.')
|
||||
compile(data, 'log-maintenance.py', 'exec', dont_inherit=True)
|
||||
return data, digest
|
||||
|
||||
|
||||
def hub_log_maintenance_directory(directory, job_id):
|
||||
if not re.fullmatch('[a-f0-9]{32}', str(job_id)):
|
||||
raise ValueError('Некорректный идентификатор обновления.')
|
||||
return Path(directory) / ('log-maintenance-' + job_id)
|
||||
|
||||
|
||||
def hub_log_maintenance_receipt(directory, job_id):
|
||||
try:
|
||||
path = hub_log_maintenance_directory(directory, job_id) / 'receipt.json'
|
||||
with path.open('rb') as stream:
|
||||
data = json.loads(stream.read(8193))
|
||||
return data if isinstance(data, dict) else {}
|
||||
except (OSError, ValueError):
|
||||
return {}
|
||||
|
||||
|
||||
def hub_log_maintenance_command(args, deadline):
|
||||
remaining = deadline - time.monotonic()
|
||||
if remaining <= 0:
|
||||
raise RuntimeError('Истекло время настройки обслуживания журналов.')
|
||||
result = subprocess.run(args, capture_output=True, text=True, errors='replace',
|
||||
timeout=remaining, env={**os.environ, 'DEBIAN_FRONTEND': 'noninteractive'})
|
||||
if result.returncode:
|
||||
detail = ((result.stdout or '') + '\n' + (result.stderr or '')).strip()[-2000:]
|
||||
raise RuntimeError('Обслуживание журналов: rc=' + str(result.returncode) + '; ' + detail)
|
||||
return result
|
||||
|
||||
|
||||
def hub_rollback_log_maintenance(directory, job_id):
|
||||
stage = hub_log_maintenance_directory(directory, job_id)
|
||||
if (stage / 'backup/manifest.json').is_file():
|
||||
hub_log_maintenance_command([sys.executable, str(stage / 'log-maintenance.py'), 'rollback',
|
||||
'--backup', str(stage / 'backup')], time.monotonic() + 45)
|
||||
|
||||
|
||||
def hub_install_log_maintenance(directory, job_id, source=None, budget=120):
|
||||
data, digest = hub_log_maintenance_payload(source)
|
||||
stage = hub_log_maintenance_directory(directory, job_id)
|
||||
stage.mkdir(mode=0o700, parents=True, exist_ok=True)
|
||||
script, backup = stage / 'log-maintenance.py', stage / 'backup'
|
||||
receipt = {'job_id': job_id, 'sha256': digest, 'status': 'installing'}
|
||||
def save(status, error=''):
|
||||
receipt.update(status=status, error=error[:2000], updated_at=time.time())
|
||||
hub_update_write(stage / 'receipt.json', json.dumps(receipt, ensure_ascii=False).encode())
|
||||
hub_update_write(script, data, 0o700)
|
||||
save('installing')
|
||||
deadline = time.monotonic() + budget
|
||||
try:
|
||||
if not shutil.which('logrotate'):
|
||||
if not shutil.which('apt-get'):
|
||||
raise RuntimeError('Не найден logrotate и пакетный менеджер apt-get.')
|
||||
# Existing Ubuntu/Debian package indexes; never an unbounded apt update.
|
||||
hub_log_maintenance_command(['apt-get', '-o', 'DPkg::Lock::Timeout=5', 'install', '-y', 'logrotate'],
|
||||
min(deadline, time.monotonic() + 25))
|
||||
hub_log_maintenance_command([sys.executable, str(script), 'install', '--backup', str(backup)], deadline)
|
||||
hub_log_maintenance_command([sys.executable, str(script), 'run'], deadline)
|
||||
result = json.loads(HUB_LOG_MAINTENANCE_RESULT.read_text())
|
||||
if not result.get('ok') or result.get('day') != dt.date.today().isoformat():
|
||||
raise RuntimeError('Успешное обслуживание журналов за текущие сутки не подтверждено: ' + str(result.get('error', 'нет результата'))[:500])
|
||||
hub_log_maintenance_command(['systemctl', 'is-active', 'logrotate.timer'], deadline)
|
||||
hub_log_maintenance_command(['systemctl', 'is-enabled', 'logrotate.timer'], deadline)
|
||||
save('ready')
|
||||
except Exception as exc:
|
||||
reason = str(exc)
|
||||
try:
|
||||
hub_rollback_log_maintenance(directory, job_id)
|
||||
except Exception as rollback:
|
||||
reason += '; ошибка отката настроек журналов: ' + str(rollback)
|
||||
save('failed', reason)
|
||||
raise RuntimeError(reason) from exc
|
||||
return receipt
|
||||
|
||||
|
||||
def hub_prune_log_maintenance_backups(directory, job_id):
|
||||
"""Keep this update's snapshot and one prior snapshot, never router data."""
|
||||
current = hub_log_maintenance_directory(directory, job_id)
|
||||
old = sorted((p for p in Path(directory).iterdir() if p != current and not p.is_symlink()
|
||||
and p.is_dir() and re.fullmatch('log-maintenance-[a-f0-9]{32}', p.name)),
|
||||
key=lambda p: p.stat().st_mtime, reverse=True)
|
||||
for path in old[1:]:
|
||||
shutil.rmtree(path)
|
||||
|
||||
|
||||
def hub_update_state(directory, value=None):
|
||||
path = Path(directory) / 'job.json'
|
||||
if value is not None:
|
||||
@@ -16075,6 +16295,7 @@ def run_hub_update_worker(job_id, directory=None, target=None):
|
||||
if job.get('id') != job_id or job.get('status') != 'starting':
|
||||
raise RuntimeError('Задача обновления устарела или уже запущена.')
|
||||
changed = False
|
||||
maintenance_installed = False
|
||||
previous = None
|
||||
candidate = directory / 'candidate.py'
|
||||
def report(status, message):
|
||||
@@ -16090,6 +16311,9 @@ def run_hub_update_worker(job_id, directory=None, target=None):
|
||||
raise RuntimeError('Файл Hub изменился после подтверждения; обнови страницу.')
|
||||
hub_update_require_version(data, hub_update_version(previous))
|
||||
hub_update_write(directory / 'previous.py', previous, 0o700)
|
||||
report('installing', 'Устанавливается обслуживание журналов; проверяется очистка и таймер…')
|
||||
hub_install_log_maintenance(directory, job_id, source=data)
|
||||
maintenance_installed = True
|
||||
report('installing', 'Устанавливается новая сборка панели…')
|
||||
hub_update_write(target, data, 0o755)
|
||||
changed = True
|
||||
@@ -16097,10 +16321,19 @@ def run_hub_update_worker(job_id, directory=None, target=None):
|
||||
subprocess.run(['systemctl', 'restart', 'owrt-remote'], check=True, capture_output=True, timeout=35)
|
||||
if not hub_update_health(job['health_url'], job['revision']):
|
||||
raise RuntimeError('Новая сборка не прошла проверку работоспособности.')
|
||||
report('succeeded', 'Панель успешно обновлена. Страница будет перезагружена.')
|
||||
report('succeeded', 'Панель обновлена. Обслуживание журналов и таймер проверены. Страница будет перезагружена.')
|
||||
try:
|
||||
hub_prune_log_maintenance_backups(directory, job_id)
|
||||
except OSError as cleanup_error:
|
||||
print('Не удалось убрать старую резервную копию обслуживания журналов: ' + str(cleanup_error), file=sys.stderr)
|
||||
return 0
|
||||
except Exception as exc:
|
||||
reason = str(exc)[:500]
|
||||
if maintenance_installed:
|
||||
try:
|
||||
hub_rollback_log_maintenance(directory, job_id)
|
||||
except Exception as rollback_exc:
|
||||
reason += ' Ошибка отката настроек журналов: ' + str(rollback_exc)[:300]
|
||||
if changed and previous is not None:
|
||||
try:
|
||||
report('rollback', 'Ошибка обновления; восстанавливается предыдущая сборка…')
|
||||
@@ -16135,6 +16368,45 @@ class HubUpdateManager:
|
||||
self.remote_revision = ''
|
||||
self.remote_version = ''
|
||||
self.health_url = 'http://127.0.0.1:8088/health'
|
||||
self.log_maintenance_status = ''
|
||||
self.log_maintenance_error = ''
|
||||
|
||||
def resume_log_maintenance(self):
|
||||
"""Bridge the first update, whose still-running worker is from old Hub.
|
||||
|
||||
That worker waits for the new Hub's revision health. Hold only that
|
||||
health confirmation until installation finishes; heartbeat stays live.
|
||||
New workers install the component beforehand and already have a receipt.
|
||||
"""
|
||||
if self.log_maintenance_status:
|
||||
return
|
||||
job = hub_update_state(self.directory)
|
||||
if (job.get('status') not in {'restarting', 'succeeded'} or job.get('revision') != HUB_LOADED_REVISION
|
||||
or time.time() - job.get('started_at', 0) > 420):
|
||||
return
|
||||
receipt = hub_log_maintenance_receipt(self.directory, job.get('id'))
|
||||
if receipt.get('status') == 'ready' and receipt.get('sha256') == HUB_LOG_MAINTENANCE_SHA256:
|
||||
return
|
||||
self.log_maintenance_status = 'installing'
|
||||
def install():
|
||||
try:
|
||||
# The old worker's health wait is about a minute. Fail/restore
|
||||
# within that budget rather than install after its rollback.
|
||||
hub_install_log_maintenance(self.directory, job['id'], budget=40)
|
||||
self.log_maintenance_status = 'ready'
|
||||
try:
|
||||
hub_prune_log_maintenance_backups(self.directory, job['id'])
|
||||
except OSError as cleanup_error:
|
||||
print('Не удалось убрать старую резервную копию обслуживания журналов: ' + str(cleanup_error), file=sys.stderr)
|
||||
except Exception as exc:
|
||||
self.log_maintenance_error = str(exc)[:2000]
|
||||
self.log_maintenance_status = 'failed'
|
||||
print('Ошибка установки обслуживания журналов при обновлении: ' + str(exc), file=sys.stderr)
|
||||
try:
|
||||
threading.Thread(target=install, name='owrt-log-maintenance-bootstrap', daemon=True).start()
|
||||
except Exception as exc:
|
||||
self.log_maintenance_error = str(exc)[:2000]
|
||||
self.log_maintenance_status = 'failed'
|
||||
|
||||
def check(self, force=False):
|
||||
with self.lock:
|
||||
@@ -16166,6 +16438,7 @@ class HubUpdateManager:
|
||||
try:
|
||||
data = self.fetch_candidate()
|
||||
hub_update_validate(data)
|
||||
hub_log_maintenance_payload(data)
|
||||
except Exception as exc:
|
||||
error = 'Не удалось проверить обновление: ' + str(exc)[:300]
|
||||
with self.lock:
|
||||
@@ -16179,6 +16452,11 @@ class HubUpdateManager:
|
||||
def snapshot(self):
|
||||
with self.lock:
|
||||
job = hub_update_state(self.directory)
|
||||
if job.get('revision') == HUB_LOADED_REVISION:
|
||||
if self.log_maintenance_status == 'installing':
|
||||
job = {**job, 'status': 'installing', 'message': 'Настраивается обслуживание журналов; ожидается проверка очистки и таймера…'}
|
||||
elif self.log_maintenance_status == 'failed':
|
||||
job = {**job, 'status': 'failed', 'message': 'Обслуживание журналов не установлено: ' + self.log_maintenance_error}
|
||||
if job.get('status') in HUB_UPDATE_ACTIVE and time.time() - job.get('started_at', 0) > 420:
|
||||
job.update(status='failed', message='Процесс обновления прерван. Итог не подтверждён; проверь сервис owrt-remote на VPS.')
|
||||
hub_update_state(self.directory, job)
|
||||
@@ -16197,6 +16475,8 @@ class HubUpdateManager:
|
||||
job = hub_update_state(self.directory)
|
||||
if job.get('status') in HUB_UPDATE_ACTIVE:
|
||||
raise RuntimeError('Обновление панели уже выполняется.')
|
||||
if self.log_maintenance_status == 'installing':
|
||||
raise RuntimeError('Ещё устанавливается обслуживание журналов.')
|
||||
if not revision or revision != self.remote_revision or not self.candidate or self.error or self.checking:
|
||||
raise ValueError('Результат проверки устарел. Проверь обновление ещё раз.')
|
||||
if revision == HUB_LOADED_REVISION:
|
||||
@@ -19412,6 +19692,11 @@ exit 127
|
||||
result = {"ok": True}
|
||||
if self.query().get('panel-update') == ['1']:
|
||||
result['revision'] = HUB_LOADED_REVISION
|
||||
maintenance = self.app.hub_update
|
||||
if maintenance.log_maintenance_status in {'installing', 'failed'}:
|
||||
result['ok'] = False
|
||||
result['log_maintenance'] = {'status': maintenance.log_maintenance_status,
|
||||
'error': maintenance.log_maintenance_error}
|
||||
if self.query().get("request-load-fix") == ["1"]:
|
||||
result["notification_wait"] = notification_wait_metrics()
|
||||
self.send_json(200, result)
|
||||
@@ -21064,6 +21349,7 @@ def cmd_serve(args):
|
||||
extra_servers.append((extra, thread))
|
||||
|
||||
try:
|
||||
app.hub_update.resume_log_maintenance()
|
||||
app.start_router_state_monitor()
|
||||
tls_ports = parse_extra_ports(args.tls_ports) if args.tls_cert and args.tls_key else []
|
||||
tls_port_set = set(tls_ports)
|
||||
|
||||
Reference in new issue
Block a user