In RHV verwendet der KVM-Host Sanlock, um die Konnektivität mit der Speicherdomäne zu erkennen. Wenn Sanlock aktiviert wird, öffnet es den wdmd-Daemon (Watchdog-Multiplexing-Daemon) und sendet Keepalive mit einem bestimmten Heartbeat. sanlock IO to storage wird nicht innerhalb einer festgelegten Zeit abgeschlossen, sanlock hört auf, Keepalive an wdmd zu senden. Wenn das Zeitlimit abgelaufen ist, protokolliert der wdmd-Daemon, der /dev/watchdog steuert, Fehler und warnt, dass der Watchdog nicht am Leben erhalten wird und bald abläuft und dann den KVM-Host auslöst und zurücksetzt.
$ systemctl status sanlock ● sanlock.service - Shared Storage Lease Manager Loaded: loaded (/usr/lib/systemd/system/sanlock.service; disabled; vendor preset: disabled) Active: active (running) since Mon 2020-07-13 15:03:26 NZST; 1 months 19 days ago Process: 1041 ExecStart=/usr/sbin/sanlock daemon (code=exited, status=0/SUCCESS) Main PID: 1044 (sanlock) Tasks: 7 Memory: 18.6M CGroup: /system.slice/sanlock.service ├─1044 /usr/sbin/sanlock daemon └─1045 /usr/sbin/sanlock daemon Warning: Journal has been rotated since unit was started. Log output is incomplete or unavailable.
$ systemctl status wdmd ● wdmd.service - Watchdog Multiplexing Daemon Loaded: loaded (/usr/lib/systemd/system/wdmd.service; disabled; vendor preset: disabled) Active: active (running) since Mon 2020-07-13 15:03:26 NZST; 1 months 19 days ago Process: 1131 ExecStart=/usr/sbin/wdmd (code=exited, status=0/SUCCESS) Process: 1112 ExecStartPre=/lib/systemd/systemd-wdmd watchdog-check (code=exited, status=0/SUCCESS) Main PID: 1133 (wdmd) Tasks: 1 Memory: 2.3M CGroup: /system.slice/wdmd.service └─1133 /usr/sbin/wdmd Warning: Journal has been rotated since unit was started. Log output is incomplete or unavailable.
Der Sanlock-Daemon schreibt kontinuierlich in einem festen Intervall in den Speicher, um seine Leases zu erneuern. Sanlock markiert den KVM-Host als UNKNOWN, FREE, LIVE, FAIL und DEAD, basierend auf dem Ergebnis von sanlock IO to storage.
unbekannt:
Der KVM-Host hat eine Lease für den Speicher, aber der Clusterlock kann nicht erkennen, ob der Host noch aktiv oder tot ist. Hält normalerweise 10–20 Sekunden an, aber es ist möglich, dass dies bis zu 80 Sekunden andauert, bevor der KVM-Host als aktiv oder ausgefallen gilt.
Kostenlos:
Es gibt keine Lease für diese Host-ID.
Live:
Der KVM-Host hat seine Lease in den letzten 80 Sekunden erneuert. Es kann sein, dass es seinen Mietvertrag jetzt verlängert oder nicht, das können wir nur feststellen, wenn wir später noch einmal nachsehen.
Nicht bestanden:
Der Host hat seine Lease seit 80 Sekunden nicht verlängert. Hält 60 Sekunden an, bevor der Host als tot gilt. Wenn der Status des KVM-Hosts als „Fail“ markiert ist, werden die folgenden zugehörigen Protokolle angezeigt:
2020-08-31 21:35:01 1665117 [1044]: s1 check_our_lease warning 72 last_success 1665045 2020-08-31 21:35:02 1665118 [1044]: s1 check_our_lease warning 73 last_success 1665045 2020-08-31 21:35:03 1665119 [1044]: s1 check_our_lease warning 74 last_success 1665045 2020-08-31 21:35:04 1665120 [1044]: s1 check_our_lease warning 75 last_success 1665045 2020-08-31 21:35:05 1665121 [1044]: s1 check_our_lease warning 76 last_success 1665045 2020-08-31 21:35:06 1665122 [1044]: s1 check_our_lease warning 77 last_success 1665045 2020-08-31 21:35:07 1665123 [1044]: s1 check_our_lease warning 78 last_success 1665045 2020-08-31 21:35:08 1665124 [1044]: s1 check_our_lease warning 79 last_success 1665045 2020-08-31 21:35:09 1665125 [1044]: s1 check_our_lease failed 80 2020-08-31 21:35:10 1665125 [1044]: s1 all pids clear 2020-08-31 21:35:21 1665137 [3859]: 8d627013 aio timeout RD 0x7f56e00009b0:0x7f56e00009c0:0x7f56f0299000 ioto 10 to_count 4 2020-08-31 21:35:21 1665137 [3859]: s1 delta_renew read timeout 10 sec offset 0 /rhev/data-center/mnt/[mountpoint]/[SD_UUID]/dom_md/ids 2020-08-31 21:35:21 1665137 [3859]: s1 renewal error -202 delta_length 20 last_success 1665045
Tot:
Der Host hat seine Lease seit 140 Sekunden nicht verlängert.
Wenn die Sanlock-E/A zum Speicher nicht innerhalb einer festgelegten Zeit abgeschlossen wird, tritt der Sanlock-Daemon in die Wiederherstellung ein. Die Wiederherstellung beginnt damit, dass der Sanlock-Daemon versucht, alle PIDs zu töten (SIGTERM), die Leases auf dem betroffenen Speicher verwenden. Wenn eine PID nach 10 SIGTERMs über 10 Sekunden nicht beendet wird, versucht Sanlock dann kill (SIGKILL). Wenn PIDs immer noch nicht innerhalb einer festgelegten Zeit beendet werden, wird der Watchdog ausgelöst und der Host zurückgesetzt. Wenn alle PIDs innerhalb der erforderlichen Zeit beendet werden, wird der Watchdog erneuert und nicht ausgelöst.