Add fleet reboot queue and fix dashboard landscape and Legend layout
This commit is contained in:
1 parent
14025bcbe5
commit
dfa16f3772
7 files changed
+554
-43
No files matched your search
+24
-1
@@ -86,6 +86,22 @@ storage. Из вывода удаляются пароль и строки с и
|
||||
«Подробнее», выровнены по центру на ПК и мобильном экране.
|
||||
Пояснения к команде, паролю и остановке отделены от полей и кнопок одинаковыми
|
||||
отступами. Кнопка «Обновить все по очереди» зелёная.
|
||||
Рядом добавлена красная кнопка «Перезапустить все роутера». Она использует
|
||||
тот же общий SSH-пароль, запускает отдельную последовательную очередь reboot
|
||||
и не выполняет команду из поля обновления. Две очереди одновременно не работают.
|
||||
Имя уточняется из `owrtremote.main.router_name` перед перезапуском каждого роутера.
|
||||
Команда отправляется один раз в отдельном процессе с небольшой задержкой,
|
||||
чтобы SSH успел передать подтверждение. Разрыв SSH сам по себе не считается успехом.
|
||||
«Успешно» появляется после восстановления SSH и изменения Linux `boot_id`:
|
||||
роутер действительно прошёл новую загрузку. Ожидание ограничено тремя минутами
|
||||
на роутер. Ошибка пароля/команды, отсутствие туннеля или неподтверждённая загрузка
|
||||
отображаются отдельно, затем очередь переходит к следующему роутеру.
|
||||
«Остановить всё» прекращает очередь, но уже отправленный reboot не отменяется;
|
||||
его неподтверждённый результат помечается явно. Временный каталог reboot в `/tmp`
|
||||
исчезает при перезагрузке; повторный запрос не запускает эту задачу второй раз.
|
||||
Пароль остаётся только в памяти worker, очищается в поле после отправки и не
|
||||
попадает в результаты, БД или browser storage. API перезапуска требует владельца
|
||||
и тот же CSRF/Origin-контроль, что обновление.
|
||||
Рядом с «Вернуться в Hub» есть «Обновить информацию о роутерах»: после завершения
|
||||
очереди кнопка убирает её результаты и получает текущий список, имена и статусы.
|
||||
Во время работающей очереди она только обновляет статусы, не удаляя задачу.
|
||||
@@ -112,7 +128,7 @@ powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\
|
||||
powershell.exe -NoProfile -ExecutionPolicy Bypass -File "C:\Users\k.zolotarev95\Documents\openwrt overlay\vps\deploy-router-updates.ps1" -Vps "root@193.233.82.38" -Action Rollback
|
||||
```
|
||||
|
||||
Резервная копия: `/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-updates-form-style-v117`.
|
||||
Резервная копия: `/opt/owrt-remote/owrt-remote-hub.py.bak-before-router-reboot-all-v117`.
|
||||
Не устанавливай/не откатывай Hub, пока его очередь работает.
|
||||
|
||||
## Проверки
|
||||
@@ -136,3 +152,10 @@ Dropbear и обновление физического OpenWrt требуют
|
||||
при длинном тексте, размеры полей/кнопок и отсутствие горизонтального выезда.
|
||||
Для ПК проверяется центрирование и ограничение ширины 1100 px на экранах
|
||||
1280/1440/1920 px, а также прежнее расположение кнопок и полей.
|
||||
Проверки перезапуска используют подставной SSH и безопасный stub `reboot`:
|
||||
ни тестовая Windows, ни реальные роутеры не перезагружаются. Проверяются новая
|
||||
загрузка, обрыв SSH без повторной команды, rc ошибки, общий пароль, тайм-аут,
|
||||
остановка и исключение двух одновременных очередей. Shell проходит BusyBox ash -n.
|
||||
На экранах 320/390/1280 px проверяются красная кнопка, отдельный POST, очистка
|
||||
пароля, восстановление просмотра очереди и счётчики. Реальную перезагрузку
|
||||
OpenWrt и возврат обратного SSH-туннеля нужно проверить на устройстве.
|
||||
@@ -39,6 +39,7 @@ class UpdatesTests(unittest.TestCase):
|
||||
self.manager.LAUNCH_TIMEOUT = .01
|
||||
self.manager.SILENCE_TIMEOUT = .015
|
||||
self.manager.STOP_TIMEOUT = .01
|
||||
self.manager.REBOOT_TIMEOUT = .025
|
||||
hub.save_auth_state({'username': 'owner', 'password': hub.password_digest('hub-password')})
|
||||
hub.save_sessions([])
|
||||
with self.app.conn() as conn:
|
||||
@@ -54,6 +55,101 @@ class UpdatesTests(unittest.TestCase):
|
||||
self.assertFalse(self.manager.thread.is_alive())
|
||||
return self.manager.snapshot()
|
||||
|
||||
def test_reboot_requires_new_boot_and_runs_sequentially_without_installer(self):
|
||||
calls, polls = [], {}
|
||||
old_boot, new_boot = 'a' * 8 + '-1111-1111-1111-' + 'a' * 12, 'b' * 8 + '-2222-2222-2222-' + 'b' * 12
|
||||
def ssh(row, script, password):
|
||||
calls.append((row['id'], script, password))
|
||||
if 'OWRT_UPDATE_READY=1' in script:
|
||||
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_BOOT_ID=' + old_boot + '\nOWRT_UPDATE_NAME_TEXT=АНТОН ВПН\n'
|
||||
if 'OWRT_REBOOT_RUNNER' in script:
|
||||
return 'OWRT_UPDATE_STARTED=1\n'
|
||||
polls[row['id']] = polls.get(row['id'], 0) + 1
|
||||
# Neither rc=0 nor the same working SSH session proves a reboot.
|
||||
return 'OWRT_UPDATE_BOOT_ID=' + (old_boot if polls[row['id']] == 1 else new_boot) + '\nOWRT_UPDATE_RC=0\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
self.manager.start_reboot('shared-secret', 'request-reboot-success')
|
||||
job = self.finish()
|
||||
self.assertEqual(job['operation'], 'reboot')
|
||||
self.assertEqual([item['state'] for item in job['items']], ['success', 'success'])
|
||||
self.assertTrue(all(item['name'] == 'АНТОН ВПН' for item in job['items']))
|
||||
self.assertEqual([row for row, _, _ in calls], ['main'] * 4 + ['node-2'] * 4)
|
||||
self.assertTrue(all(password == 'shared-secret' for _, _, password in calls))
|
||||
self.assertNotIn('shared-secret', json.dumps(job))
|
||||
self.assertTrue(all('command.sh' not in script for _, script, _ in calls))
|
||||
|
||||
def test_reboot_disconnect_never_resends_and_only_new_boot_confirms_success(self):
|
||||
launches, probes = [], 0
|
||||
def ssh(row, script, password):
|
||||
nonlocal probes
|
||||
if 'OWRT_UPDATE_READY=1' in script:
|
||||
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\n'
|
||||
if 'OWRT_REBOOT_RUNNER' in script:
|
||||
launches.append(row['id'])
|
||||
raise RuntimeError('Connection closed by remote host')
|
||||
probes += 1
|
||||
if probes == 1:
|
||||
raise RuntimeError('SSH: нет ответа за 10 секунд')
|
||||
return 'OWRT_UPDATE_BOOT_ID=bbbbbbbb-2222-2222-2222-bbbbbbbbbbbb\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
self.manager.start_reboot('', 'request-reboot-disconnect')
|
||||
job = self.finish()
|
||||
self.assertEqual(launches, ['main', 'node-2'])
|
||||
self.assertTrue(all(item['state'] == 'success' for item in job['items']))
|
||||
|
||||
def test_reboot_unknown_or_rejected_continues_and_does_not_claim_success(self):
|
||||
for failure in ['unchanged_boot', 'reboot_rc', 'wrong_password', 'missing_tool']:
|
||||
with self.subTest(failure=failure):
|
||||
launches = []
|
||||
def ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script:
|
||||
if row['id'] == 'main' and failure == 'wrong_password':
|
||||
raise RuntimeError('root@127.0.0.1: Permission denied (publickey,password).')
|
||||
if row['id'] == 'main' and failure == 'missing_tool':
|
||||
return 'OWRT_UPDATE_STATE=not_started\nOWRT_UPDATE_ERROR=Нет reboot; перезагрузка не запускалась\n'
|
||||
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\n'
|
||||
if 'OWRT_REBOOT_RUNNER' in script:
|
||||
launches.append(row['id'])
|
||||
return 'OWRT_UPDATE_STARTED=1\n'
|
||||
if row['id'] == 'main':
|
||||
return 'OWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\nOWRT_UPDATE_RC=' + ('1' if failure == 'reboot_rc' else '0') + '\nOWRT_UPDATE_OUTPUT_TEXT=\nreboot denied'
|
||||
return 'OWRT_UPDATE_BOOT_ID=bbbbbbbb-2222-2222-2222-bbbbbbbbbbbb\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
self.manager.start_reboot('shared-secret', 'request-reboot-' + failure)
|
||||
job = self.finish()
|
||||
self.assertEqual(job['items'][0]['state'], 'unknown' if failure == 'unchanged_boot' else 'error')
|
||||
self.assertEqual(job['items'][1]['state'], 'success')
|
||||
self.assertEqual(launches, ['node-2'] if failure in {'wrong_password', 'missing_tool'} else ['main', 'node-2'])
|
||||
if failure == 'wrong_password':
|
||||
self.assertIn('Общий SSH-пароль не принят', job['items'][0]['message'])
|
||||
if failure == 'reboot_rc':
|
||||
self.assertIn('rc=1', job['items'][0]['message'])
|
||||
|
||||
def test_reboot_cancel_duplicate_and_conflicting_queue(self):
|
||||
entered, release = threading.Event(), threading.Event()
|
||||
launches = []
|
||||
def ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script:
|
||||
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\n'
|
||||
if 'OWRT_REBOOT_RUNNER' in script:
|
||||
launches.append(row['id']); entered.set(); release.wait(2)
|
||||
return 'OWRT_UPDATE_STARTED=1\n'
|
||||
return 'OWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=ssh):
|
||||
task = self.manager.start_reboot('', 'request-reboot-cancel')
|
||||
self.assertTrue(entered.wait(2))
|
||||
self.assertEqual(task, self.manager.start_reboot('', 'request-reboot-cancel'))
|
||||
with self.assertRaises(RuntimeError):
|
||||
self.manager.start('echo installer', '', 'request-update-conflict')
|
||||
with self.assertRaises(ValueError):
|
||||
self.manager.start('echo installer', '', 'request-reboot-cancel')
|
||||
self.manager.cancel(task)
|
||||
release.set()
|
||||
job = self.finish()
|
||||
self.assertEqual(launches, ['main'])
|
||||
self.assertEqual([item['state'] for item in job['items']], ['unknown', 'skipped'])
|
||||
self.assertIn('reboot не отменяется', job['items'][0]['message'])
|
||||
|
||||
def test_sequential_names_failures_and_no_password_in_snapshot(self):
|
||||
calls = []
|
||||
def ssh(row, script, password):
|
||||
@@ -407,6 +503,12 @@ class UpdatesTests(unittest.TestCase):
|
||||
payload = {'command': 'echo install', 'ssh_password': '', 'request_id': 'request-1234567897'}
|
||||
self.assertEqual(request('/api/router-updates/start', payload)[0], 403)
|
||||
self.assertEqual(request('/api/router-updates/refresh', {'id': ''})[0], 403)
|
||||
reboot_payload = {'ssh_password': '', 'request_id': 'request-api-reboot'}
|
||||
self.assertEqual(request('/api/router-updates/reboot', reboot_payload, cookie='')[0], 401)
|
||||
self.assertEqual(request('/api/router-updates/reboot', reboot_payload)[0], 403)
|
||||
with mock.patch.object(hub.Handler, 'current_account_profile', return_value={'is_owner': False}):
|
||||
self.assertEqual(request('/api/router-updates/reboot', reboot_payload, csrf=self.manager.csrf)[0], 403)
|
||||
self.assertEqual(request('/api/router-updates/reboot', reboot_payload, csrf=self.manager.csrf, origin='https://attacker.example')[0], 403)
|
||||
status, body = request('/api/router-updates')
|
||||
self.assertEqual(status, 200)
|
||||
self.assertIn('online', json.loads(body)['routers'][0])
|
||||
@@ -434,11 +536,50 @@ class UpdatesTests(unittest.TestCase):
|
||||
self.assertIsNone(data['job'])
|
||||
self.assertFalse(data['routers'][0]['online'])
|
||||
self.assertEqual(data['routers'][0]['name'], 'АНТОН ВПН')
|
||||
def reboot_ssh(row, script, password):
|
||||
if 'OWRT_UPDATE_READY=1' in script:
|
||||
return 'OWRT_UPDATE_READY=1\nOWRT_UPDATE_BOOT_ID=aaaaaaaa-1111-1111-1111-aaaaaaaaaaaa\n'
|
||||
if 'OWRT_REBOOT_RUNNER' in script:
|
||||
return 'OWRT_UPDATE_STARTED=1\n'
|
||||
return 'OWRT_UPDATE_BOOT_ID=bbbbbbbb-2222-2222-2222-bbbbbbbbbbbb\n'
|
||||
with mock.patch.object(self.manager, '_ssh', side_effect=reboot_ssh):
|
||||
status, body = request('/api/router-updates/reboot', reboot_payload, csrf=self.manager.csrf)
|
||||
self.assertEqual(status, 200)
|
||||
self.assertTrue(all(item['state'] == 'success' for item in self.finish()['items']))
|
||||
self.assertEqual(json.loads(request('/api/router-updates')[1])['job']['operation'], 'reboot')
|
||||
finally:
|
||||
server.shutdown(); server.server_close(); thread.join(3)
|
||||
|
||||
|
||||
class RouterTaskTests(unittest.TestCase):
|
||||
@unittest.skipUnless(os.name == 'nt', 'fixture uses bundled Windows POSIX shell')
|
||||
def test_detached_reboot_receipt_single_execution_and_busybox_syntax(self):
|
||||
# Fake reboot only: this test never reboots any host or contacts routers.
|
||||
shell = r'C:\Program Files\Git\usr\bin\sh.exe'
|
||||
busybox = ROOT / '.test-output/busybox/busybox64.exe'
|
||||
with tempfile.TemporaryDirectory(prefix='owrt-reboot-shell-') as folder:
|
||||
root = Path(folder)
|
||||
task = root / 'task'
|
||||
env = {**os.environ, 'PATH': folder + os.pathsep + str(Path(shell).parent) + os.pathsep + os.environ['PATH']}
|
||||
root.joinpath('setsid').write_text('#!/usr/bin/perl\nuse POSIX (); POSIX::setsid() >= 0 or die; exec @ARGV; die;\n', encoding='ascii', newline='\n')
|
||||
root.joinpath('reboot').write_text('#!/bin/sh\necho run >>"' + root.as_posix() + '/runs"\necho fake-reboot-error\nexit 7\n', encoding='ascii', newline='\n')
|
||||
script = hub.router_reboot_launch_script('fixture', delay=0).replace('/tmp/owrt-remote-reboot-fixture', task.as_posix())
|
||||
for _ in range(2):
|
||||
result = subprocess.run([shell], input=script, capture_output=True, encoding='utf-8', env=env, timeout=10)
|
||||
self.assertEqual(result.returncode, 0, result.stderr)
|
||||
self.assertIn('OWRT_UPDATE_STARTED=1', result.stdout)
|
||||
deadline = time.monotonic() + 5
|
||||
while not (task / 'result').exists() and time.monotonic() < deadline:
|
||||
time.sleep(.05)
|
||||
self.assertEqual((task / 'result').read_text().strip(), '7')
|
||||
self.assertEqual((task / 'output').read_text().strip(), 'fake-reboot-error')
|
||||
self.assertEqual(root.joinpath('runs').read_text().splitlines(), ['run'])
|
||||
runner = hub.router_reboot_launch_script('fixture').split("<<'OWRT_REBOOT_RUNNER'\n", 1)[1].split('\nOWRT_REBOOT_RUNNER', 1)[0]
|
||||
for source in [hub.router_reboot_probe_script(), hub.router_reboot_probe_script('fixture'), script, runner]:
|
||||
root.joinpath('syntax.sh').write_text(source, encoding='utf-8', newline='\n')
|
||||
result = subprocess.run([str(busybox), 'ash', '-n', str(root / 'syntax.sh')], capture_output=True)
|
||||
self.assertEqual(result.returncode, 0, result.stderr)
|
||||
|
||||
@unittest.skipUnless(os.name == 'nt', 'fixture uses bundled Windows POSIX shell')
|
||||
def test_real_detached_task_failure_pipefail_bounded_output_and_cleanup(self):
|
||||
shell = r'C:\Program Files\Git\usr\bin\sh.exe'
|
||||
|
||||
@@ -21,7 +21,7 @@ class RouterUpdatesDeployTests(unittest.TestCase):
|
||||
self.target = self.root / 'hub.py'
|
||||
self.previous = b'print("previous Hub")\n'
|
||||
self.target.write_bytes(self.previous)
|
||||
self.backup = self.root / 'hub.py.bak-before-router-updates-form-style-v117'
|
||||
self.backup = self.root / 'hub.py.bak-before-router-reboot-all-v117'
|
||||
source = (ROOT / 'vps/deploy-router-updates.ps1').read_text(encoding='utf-8')
|
||||
self.script = source.split("$RemoteScript = @'\n", 1)[1].split("\n'@", 1)[0]
|
||||
self.script = self.script.replace('/opt/owrt-remote/owrt-remote-hub.py', self.target.as_posix())
|
||||
|
||||
@@ -18,7 +18,7 @@ with tempfile.TemporaryDirectory() as state:
|
||||
out.joinpath('dashboard.html').write_text(hub.dashboard_html([],'owner',auth_bootstrap={'username':'owner','is_owner':True}),encoding='utf-8')
|
||||
print(hub.RAW_REPO_BASE)
|
||||
`], {env:{...process.env,PYTHONIOENCODING:'utf-8'},encoding:'utf-8'}).trim();
|
||||
let job = null, routers = [], starts = [], polls = 0;
|
||||
let job = null, routers = [], starts = [], reboots = [], polls = 0;
|
||||
function data() {return {ok:true,job,routers};}
|
||||
function send(res, data) {res.setHeader('Content-Type','application/json');res.end(JSON.stringify(data));}
|
||||
const server = http.createServer((req,res)=>{
|
||||
@@ -40,6 +40,14 @@ const server = http.createServer((req,res)=>{
|
||||
send(res,data());
|
||||
});return;
|
||||
}
|
||||
if(url.pathname==='/api/router-updates/reboot') {
|
||||
assert.equal(req.headers['x-router-update-csrf'],'test-csrf');
|
||||
let body='';req.on('data',chunk=>body+=chunk);req.on('end',()=>{
|
||||
const payload=JSON.parse(body);reboots.push(payload);
|
||||
job={id:'test-reboot',request_id:payload.request_id,operation:'reboot',state:'running',cancel_requested:false,items:[{id:'node-5',name:'АНТОН ВПН',state:'running',message:'Ожидаю новую загрузку и SSH',output:''}]};
|
||||
send(res,data());
|
||||
});return;
|
||||
}
|
||||
if(url.pathname==='/api/router-updates/cancel') {
|
||||
job.cancel_requested=true;job.state='finished';job.items[0].state='cancelled';
|
||||
job.items[0].message='Остановка на роутере подтверждена';return send(res,data());
|
||||
@@ -231,6 +239,41 @@ const server = http.createServer((req,res)=>{
|
||||
await page.screenshot({path:path.join(root,'desktop-layout-'+width+'.png'),fullPage:true});
|
||||
await page.close();
|
||||
}
|
||||
for(const width of [320,390,1280]) {
|
||||
job=null;routers=[{id:'node-5',name:'АНТОН ВПН',online:true,last_seen:0,xray:'running'}];
|
||||
const page=await browser.newPage({viewport:{width,height:900},isMobile:width<680,hasTouch:width<680});
|
||||
await page.goto(`http://127.0.0.1:${server.address().port}/router-updates/`);
|
||||
await page.waitForFunction(()=>!document.querySelector('#rebootAll').disabled);
|
||||
assert.equal(await page.locator('#rebootAll').textContent(),'Перезапустить все роутера');
|
||||
assert.equal(await page.locator('#rebootAll').evaluate(node=>getComputedStyle(node).backgroundColor),'rgb(185, 28, 28)');
|
||||
// Reboot uses only the password, never the update command or its validation.
|
||||
await page.locator('#command').fill('');
|
||||
await page.locator('#sshPassword').fill('reboot-secret');
|
||||
const updateCount=starts.length;
|
||||
await page.locator('#rebootAll').click();
|
||||
await page.waitForFunction(()=>document.getElementById('status').textContent==='Перезапуск выполняется');
|
||||
assert.equal(reboots.at(-1).ssh_password,'reboot-secret');
|
||||
assert.equal(Object.hasOwn(reboots.at(-1),'command'),false);
|
||||
assert.equal(starts.length,updateCount);
|
||||
assert.equal(await page.locator('#sshPassword').inputValue(),'');
|
||||
assert.equal(await page.locator('#rebootAll').isDisabled(),true);
|
||||
assert.equal(await page.locator('#start').isDisabled(),true);
|
||||
assert.equal(await page.locator('#activeLabel').textContent(),'Перезапускаются');
|
||||
await page.reload();
|
||||
await page.waitForFunction(()=>document.getElementById('status').textContent==='Перезапуск выполняется');
|
||||
assert.equal(await page.locator('#rebootAll').isDisabled(),true);
|
||||
const rebootCount=reboots.length;
|
||||
await page.locator('#cancel').click();
|
||||
await page.waitForFunction(()=>document.getElementById('status').textContent==='Очередь перезапуска завершена');
|
||||
assert.equal(reboots.length,rebootCount);
|
||||
job.items[0].state='success';job.items[0].message='Роутер успешно перезагружен: новая загрузка и SSH подтверждены';
|
||||
await page.waitForFunction(()=>document.querySelector('.router strong').textContent==='Успешно — АНТОН ВПН');
|
||||
assert.equal(await page.locator('#countSuccess').textContent(),'1');
|
||||
assert.equal(await page.evaluate(()=>JSON.stringify({...localStorage,...sessionStorage}).includes('reboot-secret')),false);
|
||||
assert.equal(await page.evaluate(()=>document.documentElement.scrollWidth<=innerWidth),true);
|
||||
await page.screenshot({path:path.join(root,'reboot-'+width+'.png'),fullPage:true});
|
||||
await page.close();
|
||||
}
|
||||
job=null;routers=[];
|
||||
const dashboard=await browser.newPage();
|
||||
await dashboard.goto(`http://127.0.0.1:${server.address().port}/`);
|
||||
|
||||
Reference in new issue
Block a user