Add fleet reboot queue and fix dashboard landscape and Legend layout

This commit is contained in:
kzolotarev95 committed 2026-10-16 17:10:22 +04:00
1 parent 14025bcbe5
commit dfa16f3772
7 files changed
+554 -43

No files matched your search

+24 -1
View File
@@ -86,6 +86,22 @@ storage. Из вывода удаляются пароль и строки с и
«Подробнее», выровнены по центру на ПК и мобильном экране.
Пояснения к команде, паролю и остановке отделены от полей и кнопок одинаковыми
отступами. Кнопка «Обновить все по очереди» зелёная.
Рядом добавлена красная кнопка «Перезапустить все роутера». Она использует
тот же общий SSH-пароль, запускает отдельную последовательную очередь reboot
и не выполняет команду из поля обновления. Две очереди одновременно не работают.
Имя уточняется из `owrtremote.main.router_name` перед перезапуском каждого роутера.
Команда отправляется один раз в отдельном процессе с небольшой задержкой,
чтобы SSH успел передать подтверждение. Разрыв SSH сам по себе не считается успехом.
«Успешно» появляется после восстановления SSH и изменения Linux `boot_id`:
роутер действительно прошёл новую загрузку. Ожидание ограничено тремя минутами
на роутер. Ошибка пароля/команды, отсутствие туннеля или неподтверждённая загрузка
отображаются отдельно, затем очередь переходит к следующему роутеру.
«Остановить всё» прекращает очередь, но уже отправленный reboot не отменяется;
его неподтверждённый результат помечается явно. Временный каталог reboot в `/tmp`
исчезает при перезагрузке; повторный запрос не запускает эту задачу второй раз.
Пароль остаётся только в памяти worker, очищается в поле после отправки и не
попадает в результаты, БД или browser storage. API перезапуска требует владельца
и тот же CSRF/Origin-контроль, что обновление.
Рядом с «Вернуться в Hub» есть «Обновить информацию о роутерах»: после завершения
очереди кнопка убирает её результаты и получает текущий список, имена и статусы.
Во время работающей очереди она только обновляет статусы, не удаляя задачу.
@@ -112,7 +128,7 @@ powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-router-updates.ps1" -Vps "root@193.233.82.38" -Action Rollback
```
Резервная копия: `/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-updates-form-style-v117`.
Резервная копия: `/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-reboot-all-v117`.
Не устанавливай/не откатывай Hub, пока его очередь работает.
## Проверки
@@ -136,3 +152,10 @@ Dropbear и обновление физического OpenWrt требуют
при длинном тексте, размеры полей/кнопок и отсутствие горизонтального выезда.
Для ПК проверяется центрирование и ограничение ширины 1100 px на экранах
1280/1440/1920 px, а также прежнее расположение кнопок и полей.
Проверки перезапуска используют подставной SSH и безопасный stub `reboot`:
ни тестовая Windows, ни реальные роутеры не перезагружаются. Проверяются новая
загрузка, обрыв SSH без повторной команды, rc ошибки, общий пароль, тайм-аут,
остановка и исключение двух одновременных очередей. Shell проходит BusyBox ash -n.
На экранах 320/390/1280 px проверяются красная кнопка, отдельный POST, очистка
пароля, восстановление просмотра очереди и счётчики. Реальную перезагрузку
OpenWrt и возврат обратного SSH-туннеля нужно проверить на устройстве.
+141
View File
@@ -39,6 +39,7 @@ class UpdatesTests(unittest.TestCase):
self.manager.LAUNCH_TIMEOUT = .01
self.manager.SILENCE_TIMEOUT = .015
self.manager.STOP_TIMEOUT = .01
self.manager.REBOOT_TIMEOUT = .025
hub.save_auth_state({'username': 'owner', 'password': hub.password_digest('hub-password')})
hub.save_sessions([])
with self.app.conn() as conn:
@@ -54,6 +55,101 @@ class UpdatesTests(unittest.TestCase):
self.assertFalse(self.manager.thread.is_alive())
return self.manager.snapshot()
def test_reboot_requires_new_boot_and_runs_sequentially_without_installer(self):
calls, polls = [], {}
old_boot, new_boot = 'a' * 8 + '-1111-1111-1111-' + 'a' * 12, 'b' * 8 + '-2222-2222-2222-' + 'b' * 12
def ssh(row, script, password):
calls.append((row['id'], script, password))
if 'OWRT_UPDATE_READY=1' in script:
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_BOOT_ID=' + old_boot + '\nOWRT_UPDATE_NAME_TEXT=АНТОН ВПН\n'
if 'OWRT_REBOOT_RUNNER' in script:
return 'OWRT_UPDATE_STARTED=1\n'
polls[row['id']] = polls.get(row['id'], 0) + 1
# Neither rc=0 nor the same working SSH session proves a reboot.
return 'OWRT_UPDATE_BOOT_ID=' + (old_boot if polls[row['id']] == 1 else new_boot) + '\nOWRT_UPDATE_RC=0\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
self.manager.start_reboot('shared-secret', 'request-reboot-success')
job = self.finish()
self.assertEqual(job['operation'], 'reboot')
self.assertEqual([item['state'] for item in job['items']], ['success', 'success'])
self.assertTrue(all(item['name'] == 'АНТОН ВПН' for item in job['items']))
self.assertEqual([row for row, _, _ in calls], ['main'] * 4 + ['node-2'] * 4)
self.assertTrue(all(password == 'shared-secret' for _, _, password in calls))
self.assertNotIn('shared-secret', json.dumps(job))
self.assertTrue(all('command.sh' not in script for _, script, _ in calls))
def test_reboot_disconnect_never_resends_and_only_new_boot_confirms_success(self):
launches, probes = [], 0
def ssh(row, script, password):
nonlocal probes
if 'OWRT_UPDATE_READY=1' in script:
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\n'
if 'OWRT_REBOOT_RUNNER' in script:
launches.append(row['id'])
raise RuntimeError('Connection closed by remote host')
probes += 1
if probes == 1:
raise RuntimeError('SSH: нет ответа за 10 секунд')
return 'OWRT_UPDATE_BOOT_ID=bbbbbbbb-2222-2222-2222-bbbbbbbbbbbb\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
self.manager.start_reboot('', 'request-reboot-disconnect')
job = self.finish()
self.assertEqual(launches, ['main', 'node-2'])
self.assertTrue(all(item['state'] == 'success' for item in job['items']))
def test_reboot_unknown_or_rejected_continues_and_does_not_claim_success(self):
for failure in ['unchanged_boot', 'reboot_rc', 'wrong_password', 'missing_tool']:
with self.subTest(failure=failure):
launches = []
def ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script:
if row['id'] == 'main' and failure == 'wrong_password':
raise RuntimeError('root@127.0.0.1: Permission denied (publickey,password).')
if row['id'] == 'main' and failure == 'missing_tool':
return 'OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR=Нет reboot; перезагрузка не запускалась\n'
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\n'
if 'OWRT_REBOOT_RUNNER' in script:
launches.append(row['id'])
return 'OWRT_UPDATE_STARTED=1\n'
if row['id'] == 'main':
return 'OWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\nOWRT_UPDATE_RC=' + ('1' if failure == 'reboot_rc' else '0') + '\nOWRT_UPDATE_OUTPUT_TEXT=\nreboot denied'
return 'OWRT_UPDATE_BOOT_ID=bbbbbbbb-2222-2222-2222-bbbbbbbbbbbb\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
self.manager.start_reboot('shared-secret', 'request-reboot-' + failure)
job = self.finish()
self.assertEqual(job['items'][0]['state'], 'unknown' if failure == 'unchanged_boot' else 'error')
self.assertEqual(job['items'][1]['state'], 'success')
self.assertEqual(launches, ['node-2'] if failure in {'wrong_password', 'missing_tool'} else ['main', 'node-2'])
if failure == 'wrong_password':
self.assertIn('Общий SSH-пароль не принят', job['items'][0]['message'])
if failure == 'reboot_rc':
self.assertIn('rc=1', job['items'][0]['message'])
def test_reboot_cancel_duplicate_and_conflicting_queue(self):
entered, release = threading.Event(), threading.Event()
launches = []
def ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script:
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\n'
if 'OWRT_REBOOT_RUNNER' in script:
launches.append(row['id']); entered.set(); release.wait(2)
return 'OWRT_UPDATE_STARTED=1\n'
return 'OWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\n'
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
task = self.manager.start_reboot('', 'request-reboot-cancel')
self.assertTrue(entered.wait(2))
self.assertEqual(task, self.manager.start_reboot('', 'request-reboot-cancel'))
with self.assertRaises(RuntimeError):
self.manager.start('echo installer', '', 'request-update-conflict')
with self.assertRaises(ValueError):
self.manager.start('echo installer', '', 'request-reboot-cancel')
self.manager.cancel(task)
release.set()
job = self.finish()
self.assertEqual(launches, ['main'])
self.assertEqual([item['state'] for item in job['items']], ['unknown', 'skipped'])
self.assertIn('reboot не отменяется', job['items'][0]['message'])
def test_sequential_names_failures_and_no_password_in_snapshot(self):
calls = []
def ssh(row, script, password):
@@ -407,6 +503,12 @@ class UpdatesTests(unittest.TestCase):
payload = {'command': 'echo install', 'ssh_password': '', 'request_id': 'request-1234567897'}
self.assertEqual(request('/api/router-updates/start', payload)[0], 403)
self.assertEqual(request('/api/router-updates/refresh', {'id': ''})[0], 403)
reboot_payload = {'ssh_password': '', 'request_id': 'request-api-reboot'}
self.assertEqual(request('/api/router-updates/reboot', reboot_payload, cookie='')[0], 401)
self.assertEqual(request('/api/router-updates/reboot', reboot_payload)[0], 403)
with mock.patch.object(hub.Handler, 'current_account_profile', return_value={'is_owner': False}):
self.assertEqual(request('/api/router-updates/reboot', reboot_payload, csrf=self.manager.csrf)[0], 403)
self.assertEqual(request('/api/router-updates/reboot', reboot_payload, csrf=self.manager.csrf, origin='https://attacker.example')[0], 403)
status, body = request('/api/router-updates')
self.assertEqual(status, 200)
self.assertIn('online', json.loads(body)['routers'][0])
@@ -434,11 +536,50 @@ class UpdatesTests(unittest.TestCase):
self.assertIsNone(data['job'])
self.assertFalse(data['routers'][0]['online'])
self.assertEqual(data['routers'][0]['name'], 'АНТОН ВПН')
def reboot_ssh(row, script, password):
if 'OWRT_UPDATE_READY=1' in script:
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\n'
if 'OWRT_REBOOT_RUNNER' in script:
return 'OWRT_UPDATE_STARTED=1\n'
return 'OWRT_UPDATE_BOOT_ID=bbbbbbbb-2222-2222-2222-bbbbbbbbbbbb\n'
with mock.patch.object(self.manager, '_ssh', side_effect=reboot_ssh):
status, body = request('/api/router-updates/reboot', reboot_payload, csrf=self.manager.csrf)
self.assertEqual(status, 200)
self.assertTrue(all(item['state'] == 'success' for item in self.finish()['items']))
self.assertEqual(json.loads(request('/api/router-updates')[1])['job']['operation'], 'reboot')
finally:
server.shutdown(); server.server_close(); thread.join(3)
class RouterTaskTests(unittest.TestCase):
@unittest.skipUnless(os.name == 'nt', 'fixture uses bundled Windows POSIX shell')
def test_detached_reboot_receipt_single_execution_and_busybox_syntax(self):
# Fake reboot only: this test never reboots any host or contacts routers.
shell = r'C:\Program Files\Git\usr\bin\sh.exe'
busybox = ROOT / '.test-output/busybox/busybox64.exe'
with tempfile.TemporaryDirectory(prefix='owrt-reboot-shell-') as folder:
root = Path(folder)
task = root / 'task'
env = {**os.environ, 'PATH': folder + os.pathsep + str(Path(shell).parent) + os.pathsep + os.environ['PATH']}
root.joinpath('setsid').write_text('#!/usr/bin/perl\nuse POSIX (); POSIX::setsid() >= 0 or die; exec @ARGV; die;\n', encoding='ascii', newline='\n')
root.joinpath('reboot').write_text('#!/bin/sh\necho run >>"' + root.as_posix() + '/runs"\necho fake-reboot-error\nexit 7\n', encoding='ascii', newline='\n')
script = hub.router_reboot_launch_script('fixture', delay=0).replace('/tmp/owrt-remote-reboot-fixture', task.as_posix())
for _ in range(2):
result = subprocess.run([shell], input=script, capture_output=True, encoding='utf-8', env=env, timeout=10)
self.assertEqual(result.returncode, 0, result.stderr)
self.assertIn('OWRT_UPDATE_STARTED=1', result.stdout)
deadline = time.monotonic() + 5
while not (task / 'result').exists() and time.monotonic() < deadline:
time.sleep(.05)
self.assertEqual((task / 'result').read_text().strip(), '7')
self.assertEqual((task / 'output').read_text().strip(), 'fake-reboot-error')
self.assertEqual(root.joinpath('runs').read_text().splitlines(), ['run'])
runner = hub.router_reboot_launch_script('fixture').split("<<'OWRT_REBOOT_RUNNER'\n", 1)[1].split('\nOWRT_REBOOT_RUNNER', 1)[0]
for source in [hub.router_reboot_probe_script(), hub.router_reboot_probe_script('fixture'), script, runner]:
root.joinpath('syntax.sh').write_text(source, encoding='utf-8', newline='\n')
result = subprocess.run([str(busybox), 'ash', '-n', str(root / 'syntax.sh')], capture_output=True)
self.assertEqual(result.returncode, 0, result.stderr)
@unittest.skipUnless(os.name == 'nt', 'fixture uses bundled Windows POSIX shell')
def test_real_detached_task_failure_pipefail_bounded_output_and_cleanup(self):
shell = r'C:\Program Files\Git\usr\bin\sh.exe'
+1 -1
View File
@@ -21,7 +21,7 @@ class RouterUpdatesDeployTests(unittest.TestCase):
self.target = self.root / 'hub.py'
self.previous = b'print("previous Hub")\n'
self.target.write_bytes(self.previous)
self.backup = self.root / 'hub.py.bak-before-router-updates-form-style-v117'
self.backup = self.root / 'hub.py.bak-before-router-reboot-all-v117'
source = (ROOT / 'vps/deploy-router-updates.ps1').read_text(encoding='utf-8')
self.script = source.split("$RemoteScript = @'\n", 1)[1].split("\n'@", 1)[0]
self.script = self.script.replace('/opt/owrt-remote/owrt-remote-hub.py', self.target.as_posix())
+44 -1
View File
@@ -18,7 +18,7 @@ with tempfile.TemporaryDirectory() as state:
out.joinpath('dashboard.html').write_text(hub.dashboard_html([],'owner',auth_bootstrap={'username':'owner','is_owner':True}),encoding='utf-8')
print(hub.RAW_REPO_BASE)
`], {env:{...process.env,PYTHONIOENCODING:'utf-8'},encoding:'utf-8'}).trim();
let job = null, routers = [], starts = [], polls = 0;
let job = null, routers = [], starts = [], reboots = [], polls = 0;
function data() {return {ok:true,job,routers};}
function send(res, data) {res.setHeader('Content-Type','application/json');res.end(JSON.stringify(data));}
const server = http.createServer((req,res)=>{
@@ -40,6 +40,14 @@ const server = http.createServer((req,res)=>{
send(res,data());
});return;
}
if(url.pathname==='/api/router-updates/reboot') {
assert.equal(req.headers['x-router-update-csrf'],'test-csrf');
let body='';req.on('data',chunk=>body+=chunk);req.on('end',()=>{
const payload=JSON.parse(body);reboots.push(payload);
job={id:'test-reboot',request_id:payload.request_id,operation:'reboot',state:'running',cancel_requested:false,items:[{id:'node-5',name:'АНТОН ВПН',state:'running',message:'Ожидаю новую загрузку и SSH',output:''}]};
send(res,data());
});return;
}
if(url.pathname==='/api/router-updates/cancel') {
job.cancel_requested=true;job.state='finished';job.items[0].state='cancelled';
job.items[0].message='Остановка на роутере подтверждена';return send(res,data());
@@ -231,6 +239,41 @@ const server = http.createServer((req,res)=>{
await page.screenshot({path:path.join(root,'desktop-layout-'+width+'.png'),fullPage:true});
await page.close();
}
for(const width of [320,390,1280]) {
job=null;routers=[{id:'node-5',name:'АНТОН ВПН',online:true,last_seen:0,xray:'running'}];
const page=await browser.newPage({viewport:{width,height:900},isMobile:width<680,hasTouch:width<680});
await page.goto(`http://127.0.0.1:${server.address().port}/router-updates/`);
await page.waitForFunction(()=>!document.querySelector('#rebootAll').disabled);
assert.equal(await page.locator('#rebootAll').textContent(),'Перезапустить все роутера');
assert.equal(await page.locator('#rebootAll').evaluate(node=>getComputedStyle(node).backgroundColor),'rgb(185, 28, 28)');
// Reboot uses only the password, never the update command or its validation.
await page.locator('#command').fill('');
await page.locator('#sshPassword').fill('reboot-secret');
const updateCount=starts.length;
await page.locator('#rebootAll').click();
await page.waitForFunction(()=>document.getElementById('status').textContent==='Перезапуск выполняется');
assert.equal(reboots.at(-1).ssh_password,'reboot-secret');
assert.equal(Object.hasOwn(reboots.at(-1),'command'),false);
assert.equal(starts.length,updateCount);
assert.equal(await page.locator('#sshPassword').inputValue(),'');
assert.equal(await page.locator('#rebootAll').isDisabled(),true);
assert.equal(await page.locator('#start').isDisabled(),true);
assert.equal(await page.locator('#activeLabel').textContent(),'Перезапускаются');
await page.reload();
await page.waitForFunction(()=>document.getElementById('status').textContent==='Перезапуск выполняется');
assert.equal(await page.locator('#rebootAll').isDisabled(),true);
const rebootCount=reboots.length;
await page.locator('#cancel').click();
await page.waitForFunction(()=>document.getElementById('status').textContent==='Очередь перезапуска завершена');
assert.equal(reboots.length,rebootCount);
job.items[0].state='success';job.items[0].message='Роутер успешно перезагружен: новая загрузка и SSH подтверждены';
await page.waitForFunction(()=>document.querySelector('.router strong').textContent==='Успешно — АНТОН ВПН');
assert.equal(await page.locator('#countSuccess').textContent(),'1');
assert.equal(await page.evaluate(()=>JSON.stringify({...localStorage,...sessionStorage}).includes('reboot-secret')),false);
assert.equal(await page.evaluate(()=>document.documentElement.scrollWidth<=innerWidth),true);
await page.screenshot({path:path.join(root,'reboot-'+width+'.png'),fullPage:true});
await page.close();
}
job=null;routers=[];
const dashboard=await browser.newPage();
await dashboard.goto(`http://127.0.0.1:${server.address().port}/`);