<div dir="ltr">Hello,<div><br></div><div>Currently testing 9.0.15-0rc1 on a 3 node PVE cluster. </div><div><br></div><div>Pkg versions:</div><div><div>------------------</div><div>cat /proc/drbd</div><div>version: 9.0.15-0rc1 (api:2/proto:86-114)</div><div>GIT-hash: fc844fc366933c60f7303694ca1dea734dcb39bb build by root@pve1, 2018-07-23 18:47:08</div><div>Transports (api:16): tcp (9.0.15-0rc1)</div></div><div>ii  python-drbdmanage             0.99.18-1 <br></div><div>ii  drbdmanage-proxmox            2.2-1  <br></div><div>ii  drbd-utils                    9.5.0-1<br></div><div>---------------------</div><div>Resource=vm-122-disk-1</div><div>Replica count=3</div><div>PVE nodes=pve1,pve2,pve3</div><div>Resource is active on pve2 (Primary), the rest two nodes (pve1,pve2) are Secondary.</div><div><br></div><div>Tried to live migrate the VM from pve2 to pve3 and the process stuck just before starting. By inspecting dmesg on both nodes (pve2,pve3), I get the following crash..</div><div><br></div><div><br></div><div>pve2 (Primary) node:</div><div><a id="gmail-pasteurl" href="https://privatebin.net/?fb5435a42b431af2#4xZpd9D5bYnB000+H3K0noZmkX20fTwGSziv5oO/Zlg=" style="box-sizing:border-box;background-color:rgb(223,240,216);color:rgb(35,82,124);text-decoration:underline;outline:-webkit-focus-ring-color auto 5px;word-wrap:break-word;font-family:&quot;Helvetica Neue&quot;,Helvetica,Arial,sans-serif;font-size:14px">https://privatebin.net/?fb5435a42b431af2#4xZpd9D5bYnB000+H3K0noZmkX20fTwGSziv5oO/Zlg=</a><br></div><div><br></div><div>pve3(Secondary)node:</div><div><a id="gmail-pasteurl" href="https://privatebin.net/?d3b1638fecb6728f#2StXbwDPT0JlFUKf686RJiR+4hl52jEmmij2UTtnSjs=" style="box-sizing:border-box;background-color:rgb(223,240,216);color:rgb(35,82,124);text-decoration:underline;outline:-webkit-focus-ring-color auto 5px;word-wrap:break-word;font-family:&quot;Helvetica Neue&quot;,Helvetica,Arial,sans-serif;font-size:14px">https://privatebin.net/?d3b1638fecb6728f#2StXbwDPT0JlFUKf686RJiR+4hl52jEmmij2UTtnSjs=</a><br></div><div><br></div><div>Cancelled the migration, but it now it&#39;s impossible to change the state of the DRBD resource (vm-122-disk-1), in any way (switch from Primary to Secondary, Disconnect, bring down the resource etc) on pve3 or pve2.</div><div><br></div><div><div>root@pve3:~# drbdadm down vm-122-disk-1</div><div>vm-122-disk-1: State change failed: (-12) Device is held open by someone</div><div>additional info from kernel:</div><div>failed to demote</div><div>Command &#39;drbdsetup down vm-122-disk-1&#39; terminated with exit code 11</div></div><div><br></div><div>Can&#39;t find any apparent process locking the specific resource on pve3 by using lsof.</div><div><br></div><div>Is there a way to recover from this without rebooting the each node ?</div><div><br></div><div>Thanks</div><div><br></div></div>