Run first-update log maintenance outside restricted Hub service
This commit is contained in:
1 parent
780d036a9c
commit
f4ccbf82f3
4 files changed
+94
-6
No files matched your search
@@ -101,6 +101,14 @@ journald, ротация и активность таймера. Успех по
|
|||||||
API роутеров продолжают работать. Нестандартная конфигурация вызывает ошибку
|
API роутеров продолжают работать. Нестандартная конфигурация вызывает ошибку
|
||||||
с причиной и откат, а не ложное сообщение об успехе.
|
с причиной и откат, а не ложное сообщение об успехе.
|
||||||
|
|
||||||
|
Установка обслуживания при первом переходе запускается через отдельную службу
|
||||||
|
`owrt-remote-log-maintenance-<id>` у системного systemd. Ограничение
|
||||||
|
`CapabilityBoundingSet=CAP_NET_BIND_SERVICE` у веб-службы Hub сохраняется:
|
||||||
|
проверка Nginx и ротация выполняются с системными правами в отдельной задаче.
|
||||||
|
Права и владельцы `/var/log/nginx/*.log` не меняются ради обхода ошибок доступа.
|
||||||
|
Предупреждение Nginx `protocol options redefined` само по себе не означает
|
||||||
|
отказ; итог определяется кодом возврата команды и её сообщением об ошибке.
|
||||||
|
|
||||||
Если после нажатия кнопки страница продолжает показывать прежнюю сборку,
|
Если после нажатия кнопки страница продолжает показывать прежнюю сборку,
|
||||||
обновить её через Ctrl+F5. Номер версии остаётся v121; новая сборка определяется
|
обновить её через Ctrl+F5. Номер версии остаётся v121; новая сборка определяется
|
||||||
по SHA256. Отдельные команды установки выше сохраняются для ручного применения.
|
по SHA256. Отдельные команды установки выше сохраняются для ручного применения.
|
||||||
@@ -233,6 +241,14 @@ Python `invalid escape sequence '\s'` в другом HTML-шаблоне Hub н
|
|||||||
новых настроек: копия текущего обновления успешно вернула исходные файлы,
|
новых настроек: копия текущего обновления успешно вернула исходные файлы,
|
||||||
Hub продолжил работать, а результат обновления содержит причину отказа.
|
Hub продолжил работать, а результат обновления содержит причину отказа.
|
||||||
|
|
||||||
|
Отдельно воспроизведён `Permission denied` у `nginx -T` при ограничении
|
||||||
|
`CapabilityBoundingSet=CAP_NET_BIND_SERVICE`, используемом штатной службой Hub.
|
||||||
|
С этим же ограничением первый переход со старой сборки через кнопку успешно
|
||||||
|
установил обслуживание в отдельной задаче systemd. Ограничение Hub, владелец
|
||||||
|
и режим `www-data:adm 0640` журнала Nginx, ключи/настройки и целостность SQLite
|
||||||
|
сохранены. Проверены 9 регрессий установки компонентов, 19 проверок обновления
|
||||||
|
и 6 проверок локального тестового обновления.
|
||||||
|
|
||||||
Разработчикам: после изменения `vps/log-maintenance.py` выполнить
|
Разработчикам: после изменения `vps/log-maintenance.py` выполнить
|
||||||
`python scripts/embed-log-maintenance.py`; команда с `--check` и тесты проверяют,
|
`python scripts/embed-log-maintenance.py`; команда с `--check` и тесты проверяют,
|
||||||
что встроенный скрипт совпадает с исходником. Внутренний параметр `--backup`
|
что встроенный скрипт совпадает с исходником. Внутренний параметр `--backup`
|
||||||
|
|||||||
@@ -48,6 +48,7 @@ class UpdateTests(unittest.TestCase):
|
|||||||
mock.patch.object(hub, 'hub_update_lock', side_effect=lambda *a, **k: nullcontext()).start()
|
mock.patch.object(hub, 'hub_update_lock', side_effect=lambda *a, **k: nullcontext()).start()
|
||||||
self.install_logs = mock.patch.object(hub, 'hub_install_log_maintenance').start()
|
self.install_logs = mock.patch.object(hub, 'hub_install_log_maintenance').start()
|
||||||
self.rollback_logs = mock.patch.object(hub, 'hub_rollback_log_maintenance').start()
|
self.rollback_logs = mock.patch.object(hub, 'hub_rollback_log_maintenance').start()
|
||||||
|
self.bootstrap_logs = mock.patch.object(hub, 'hub_run_log_maintenance_unit').start()
|
||||||
mock.patch.object(hub, 'hub_prune_log_maintenance_backups').start()
|
mock.patch.object(hub, 'hub_prune_log_maintenance_backups').start()
|
||||||
|
|
||||||
def response(self, data=NEW, url=None):
|
def response(self, data=NEW, url=None):
|
||||||
@@ -247,7 +248,7 @@ class UpdateTests(unittest.TestCase):
|
|||||||
job = {'id': 'a' * 32, 'status': 'restarting', 'revision': hub.HUB_LOADED_REVISION,
|
job = {'id': 'a' * 32, 'status': 'restarting', 'revision': hub.HUB_LOADED_REVISION,
|
||||||
'started_at': hub.time.time()}
|
'started_at': hub.time.time()}
|
||||||
hub.hub_update_state(self.directory, job)
|
hub.hub_update_state(self.directory, job)
|
||||||
self.install_logs.side_effect = None
|
self.bootstrap_logs.side_effect = None
|
||||||
captured = {}
|
captured = {}
|
||||||
def thread(**kwargs):
|
def thread(**kwargs):
|
||||||
captured['install'] = kwargs['target']
|
captured['install'] = kwargs['target']
|
||||||
@@ -258,8 +259,9 @@ class UpdateTests(unittest.TestCase):
|
|||||||
self.assertEqual(self.manager.snapshot()['job']['status'], 'installing')
|
self.assertEqual(self.manager.snapshot()['job']['status'], 'installing')
|
||||||
captured['install']()
|
captured['install']()
|
||||||
self.assertEqual(self.manager.log_maintenance_status, 'ready')
|
self.assertEqual(self.manager.log_maintenance_status, 'ready')
|
||||||
self.install_logs.assert_called_once_with(self.directory, job['id'], budget=40)
|
self.bootstrap_logs.assert_called_once_with(self.directory, job['id'], self.target)
|
||||||
self.install_logs.side_effect = RuntimeError('disk full')
|
self.install_logs.assert_not_called()
|
||||||
|
self.bootstrap_logs.side_effect = RuntimeError('disk full')
|
||||||
captured['install']()
|
captured['install']()
|
||||||
self.assertEqual(self.manager.snapshot()['job']['status'], 'failed')
|
self.assertEqual(self.manager.snapshot()['job']['status'], 'failed')
|
||||||
self.assertIn('disk full', self.manager.snapshot()['job']['message'])
|
self.assertIn('disk full', self.manager.snapshot()['job']['message'])
|
||||||
|
|||||||
@@ -92,6 +92,38 @@ class ComponentTests(unittest.TestCase):
|
|||||||
self.assertTrue(hub.hub_log_maintenance_directory(self.directory, 'b' * 32).exists())
|
self.assertTrue(hub.hub_log_maintenance_directory(self.directory, 'b' * 32).exists())
|
||||||
self.assertTrue(other.exists())
|
self.assertTrue(other.exists())
|
||||||
|
|
||||||
|
def test_bootstrap_runs_in_separate_system_service_and_checks_receipt(self):
|
||||||
|
target = self.directory / 'hub.py'
|
||||||
|
with mock.patch.object(hub.subprocess, 'run', return_value=subprocess.CompletedProcess([], 0, '', '')) as run, \
|
||||||
|
mock.patch.object(hub, 'hub_log_maintenance_receipt', return_value={
|
||||||
|
'status': 'ready', 'sha256': hub.HUB_LOG_MAINTENANCE_SHA256}):
|
||||||
|
hub.hub_run_log_maintenance_unit(self.directory, self.job_id, target)
|
||||||
|
args = run.call_args.args[0]
|
||||||
|
self.assertEqual(args[0], 'systemd-run')
|
||||||
|
self.assertIn('--wait', args)
|
||||||
|
self.assertIn('--pipe', args)
|
||||||
|
self.assertIn('panel-log-maintenance-worker', args)
|
||||||
|
self.assertIn(str(target), args)
|
||||||
|
self.assertNotIn('--scope', args, 'a scope would inherit restricted Hub capabilities')
|
||||||
|
self.assertFalse(any('CapabilityBoundingSet' in arg for arg in args))
|
||||||
|
self.assertEqual(args[-2:], ['--directory', str(self.directory)])
|
||||||
|
|
||||||
|
def test_bootstrap_rejects_failed_unit_or_missing_receipt(self):
|
||||||
|
for status, receipt, message in ((1, {}, 'Permission denied'), (0, {}, 'нет результата')):
|
||||||
|
with self.subTest(status=status), \
|
||||||
|
mock.patch.object(hub.subprocess, 'run', return_value=subprocess.CompletedProcess([], status, '', 'Permission denied')), \
|
||||||
|
mock.patch.object(hub, 'hub_log_maintenance_receipt', return_value=receipt):
|
||||||
|
with self.assertRaisesRegex(RuntimeError, message):
|
||||||
|
hub.hub_run_log_maintenance_unit(self.directory, self.job_id, self.directory / 'hub.py')
|
||||||
|
|
||||||
|
def test_stale_privileged_worker_never_installs(self):
|
||||||
|
for job in ({'id': 'd' * 32}, {'id': self.job_id, 'status': 'failed', 'revision': hub.HUB_LOADED_REVISION}):
|
||||||
|
with mock.patch.object(hub, 'hub_update_state', return_value=job), \
|
||||||
|
mock.patch.object(hub, 'hub_install_log_maintenance') as install:
|
||||||
|
with self.assertRaisesRegex(RuntimeError, 'устарела'):
|
||||||
|
hub.run_hub_log_maintenance_worker(self.job_id, self.directory)
|
||||||
|
install.assert_not_called()
|
||||||
|
|
||||||
|
|
||||||
if __name__ == '__main__':
|
if __name__ == '__main__':
|
||||||
unittest.main()
|
unittest.main()
|
||||||
+41
-3
@@ -16217,6 +16217,39 @@ def hub_prune_log_maintenance_backups(directory, job_id):
|
|||||||
shutil.rmtree(path)
|
shutil.rmtree(path)
|
||||||
|
|
||||||
|
|
||||||
|
def run_hub_log_maintenance_worker(job_id, directory=None):
|
||||||
|
directory = Path(directory or STATE_DIR / 'panel-update')
|
||||||
|
job = hub_update_state(directory)
|
||||||
|
if (job.get('id') != job_id or job.get('revision') != HUB_LOADED_REVISION
|
||||||
|
or job.get('status') not in {'restarting', 'succeeded'}):
|
||||||
|
raise RuntimeError('Задача установки обслуживания журналов устарела.')
|
||||||
|
hub_install_log_maintenance(directory, job_id, budget=40)
|
||||||
|
|
||||||
|
|
||||||
|
def hub_run_log_maintenance_unit(directory, job_id, target):
|
||||||
|
"""PID 1 launches the worker outside Hub's restricted capability set.
|
||||||
|
|
||||||
|
Keep the worker independent of Hub's service: an old updater can roll back
|
||||||
|
the Hub while this unit safely finishes restoration of logging settings.
|
||||||
|
Never chmod nginx logs or broaden the web service's capabilities.
|
||||||
|
"""
|
||||||
|
hub_log_maintenance_directory(directory, job_id) # Validate before naming a unit.
|
||||||
|
result = subprocess.run([
|
||||||
|
'systemd-run', '--quiet', '--wait', '--pipe', '--collect',
|
||||||
|
'--unit=owrt-remote-log-maintenance-' + job_id,
|
||||||
|
'--property=Type=exec', '--property=RuntimeMaxSec=100',
|
||||||
|
'--setenv=OWRT_REMOTE_STATE_DIR=' + str(STATE_DIR),
|
||||||
|
sys.executable, str(target), 'panel-log-maintenance-worker',
|
||||||
|
'--job-id', job_id, '--directory', str(directory),
|
||||||
|
], capture_output=True, text=True, errors='replace', timeout=110)
|
||||||
|
if result.returncode:
|
||||||
|
detail = ((result.stdout or '') + '\n' + (result.stderr or '')).strip()[-2000:]
|
||||||
|
raise RuntimeError('Задача обслуживания журналов: rc=' + str(result.returncode) + '; ' + detail)
|
||||||
|
receipt = hub_log_maintenance_receipt(directory, job_id)
|
||||||
|
if receipt.get('status') != 'ready' or receipt.get('sha256') != HUB_LOG_MAINTENANCE_SHA256:
|
||||||
|
raise RuntimeError('Задача обслуживания журналов не подтвердила установку: ' + str(receipt.get('error', 'нет результата'))[:1000])
|
||||||
|
|
||||||
|
|
||||||
def hub_update_state(directory, value=None):
|
def hub_update_state(directory, value=None):
|
||||||
path = Path(directory) / 'job.json'
|
path = Path(directory) / 'job.json'
|
||||||
if value is not None:
|
if value is not None:
|
||||||
@@ -16390,9 +16423,9 @@ class HubUpdateManager:
|
|||||||
self.log_maintenance_status = 'installing'
|
self.log_maintenance_status = 'installing'
|
||||||
def install():
|
def install():
|
||||||
try:
|
try:
|
||||||
# The old worker's health wait is about a minute. Fail/restore
|
# Hub has only CAP_NET_BIND_SERVICE. Provision via PID 1, like
|
||||||
# within that budget rather than install after its rollback.
|
# the regular updater, so nginx tests/rotation have root caps.
|
||||||
hub_install_log_maintenance(self.directory, job['id'], budget=40)
|
hub_run_log_maintenance_unit(self.directory, job['id'], self.target)
|
||||||
self.log_maintenance_status = 'ready'
|
self.log_maintenance_status = 'ready'
|
||||||
try:
|
try:
|
||||||
hub_prune_log_maintenance_backups(self.directory, job['id'])
|
hub_prune_log_maintenance_backups(self.directory, job['id'])
|
||||||
@@ -21470,6 +21503,11 @@ def parser():
|
|||||||
update_worker.add_argument('--job-id', required=True)
|
update_worker.add_argument('--job-id', required=True)
|
||||||
update_worker.set_defaults(func=lambda args: sys.exit(run_hub_update_worker(args.job_id)))
|
update_worker.set_defaults(func=lambda args: sys.exit(run_hub_update_worker(args.job_id)))
|
||||||
|
|
||||||
|
log_worker = sub.add_parser('panel-log-maintenance-worker', help=argparse.SUPPRESS)
|
||||||
|
log_worker.add_argument('--job-id', required=True)
|
||||||
|
log_worker.add_argument('--directory', required=True, type=Path)
|
||||||
|
log_worker.set_defaults(func=lambda args: run_hub_log_maintenance_worker(args.job_id, args.directory))
|
||||||
|
|
||||||
serve = sub.add_parser("serve", help="run web dashboard")
|
serve = sub.add_parser("serve", help="run web dashboard")
|
||||||
serve.add_argument("--host", default=os.environ.get("OWRT_REMOTE_BIND", "0.0.0.0"))
|
serve.add_argument("--host", default=os.environ.get("OWRT_REMOTE_BIND", "0.0.0.0"))
|
||||||
serve.add_argument("--port", type=int, default=int(os.environ.get("OWRT_REMOTE_PORT", "8088")))
|
serve.add_argument("--port", type=int, default=int(os.environ.get("OWRT_REMOTE_PORT", "8088")))
|
||||||
|
|||||||
Reference in new issue
Block a user