<div xmlns="http://www.w3.org/1999/xhtml">Hi everybody!</div><div xmlns="http://www.w3.org/1999/xhtml">I have been used DRBD for many years. Thanks to developers for such a great tool.</div><div xmlns="http://www.w3.org/1999/xhtml">But now I have a problem: drbd device is blocking 100% IO for a very long period.</div><div xmlns="http://www.w3.org/1999/xhtml">My setup is:</div><div xmlns="http://www.w3.org/1999/xhtml">2 nodes (actually 3, but for problem disk it's not used), Linstor-managed.</div><div xmlns="http://www.w3.org/1999/xhtml"><div>The problem VM is 1 DRBD resource with 2 volumes.</div>I already had lvm for my VMs, so for DRBD pool I've created a LV in the same VG - vg_system/lv_drbdpool. So LV for DRBD resource is LV over LV:</div><div xmlns="http://www.w3.org/1999/xhtml"><div>  LV                VG        Attr       LSize   Pool Origin   Data%  Meta%  Move Log Cpy%Sync Convert</div><div>  vm-apb-oper_00    drbdpool  -wi-ao----  50.05g</div><div>  vm-apb-oper_01    drbdpool  -wi-ao---- 200.19g</div><div>  lv_drbdpool       vg_system -wi-ao---- 700.00g</div><div> </div>When I try to sync, VM's IO is hanging up (sometimes for minutes!), although underlying storage device is mostly idle.</div><div xmlns="http://www.w3.org/1999/xhtml"><div><div>11:17:48 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util</div><div><strong>11:17:49 AM    dev8-0     18.00      0.00    296.00     16.44      0.00      0.11      0.11      0.20</strong></div><div>11:17:49 AM dev147-100      9.00      0.00     40.00      4.44      0.00      0.00      0.00      0.00</div><div>11:17:49 AM dev147-101      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:49 AM dev147-105      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:49 AM dev147-102      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:49 AM dev147-1005      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div><strong>11:17:49 AM dev147-114      0.00      0.00      0.00      0.00      9.00      0.00      0.00    100.00</strong></div><div>11:17:49 AM dev147-112      8.00      0.00     32.00      4.00      0.00      0.25      0.25      0.20</div><div><strong>11:17:49 AM dev147-115      0.00      0.00      0.00      0.00    128.00      0.00      0.00    100.00</strong></div><div>11:17:49 AM dev147-113      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:49 AM dev147-109      1.00      0.00     80.00     80.00      0.00      0.00      0.00      0.00</div><div>11:17:49 AM dev147-110      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:49 AM dev147-111      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:49 AM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util</div><div><strong>11:17:50 AM    dev8-0     12.00      0.00    144.00     12.00      0.00      0.08      0.08      0.10</strong></div><div>11:17:50 AM dev147-100     16.00      0.00     80.00      5.00      0.00      0.00      0.00      0.00</div><div>11:17:50 AM dev147-101      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:50 AM dev147-105      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:50 AM dev147-102      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:50 AM dev147-1005      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div><strong>11:17:50 AM dev147-114      0.00      0.00      0.00      0.00      9.00      0.00      0.00    100.00</strong></div><div>11:17:50 AM dev147-112      8.00      0.00     47.00      5.88      0.00      0.12      0.12      0.10</div><div><strong>11:17:50 AM dev147-115      0.00      0.00      0.00      0.00    128.00      0.00      0.00    100.00</strong></div><div>11:17:50 AM dev147-113      5.00      0.00     17.00      3.40      0.00      0.00      0.00      0.00</div><div>11:17:50 AM dev147-109      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:50 AM dev147-110      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div>11:17:50 AM dev147-111      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00</div><div> </div></div><div>When I try to disconnect resource, the operation is time-outed:</div><div><div># drbdadm disconnect vm-apb-oper</div><div>Command 'drbdsetup disconnect vm-apb-oper 1' did not terminate within 5 seconds</div><div> </div></div><div>Log shows:</div><div><div>Apr 15 11:28:16 hyper1 kernel: drbd vm-apb-oper hyper2: [drbd_s_vm-apb-o/7524] sending time expired, ko = 4294967216</div><div>Apr 15 11:28:21 hyper1 kernel: drbd vm-apb-oper hyper2: Ignoring P_TWOPC_ABORT packet 365981593.</div><div>Apr 15 11:28:21 hyper1 kernel: drbd vm-apb-oper hyper2: Rejecting concurrent remote state change 1329964647 because of state change 161760079</div><div>Apr 15 11:28:22 hyper1 kernel: drbd vm-apb-oper hyper2: [drbd_s_vm-apb-o/7524] sending time expired, ko = 4294967215</div><div>Apr 15 11:28:28 hyper1 kernel: drbd vm-apb-oper hyper2: [drbd_s_vm-apb-o/7524] sending time expired, ko = 4294967214</div><div>Apr 15 11:28:32 hyper1 kernel: drbd vm-apb-oper hyper2: Ignoring P_TWOPC_ABORT packet 1329964647.</div><div>Apr 15 11:28:32 hyper1 kernel: drbd vm-apb-oper hyper2: Rejecting concurrent remote state change 2449354269 because of state change 161760079</div><div> </div><div><div># modinfo drbd</div><div>filename:       /lib/modules/3.10.0-957.5.1.el7.x86_64/weak-updates/drbd90/drbd.ko</div><div>alias:          block-major-147-*</div><div>license:        GPL</div><div>version:        9.0.16-1</div><div>description:    drbd - Distributed Replicated Block Device v9.0.16-1</div><div>author:         Philipp Reisner &lt;phil@linbit.com&gt;, Lars Ellenberg &lt;lars@linbit.com&gt;</div><div>retpoline:      Y</div><div>rhelversion:    7.6</div><div> </div></div></div><div>setup for resource:</div><div>linstor resource-definition drbd-options --max-buffers 8000 --max-epoch-size 8000 --sndbuf-size 0 --congestion-fill 1048576 --congestion-extents 16000 --c-fill-target 1048576 --c-max-rate 16384 --ko-count 200 --read-balancing least-pending --verify-alg sha1 --unset-disk-barrier --unset-disk-flushes --unset-md-flushes --unset-disk-drain --allow-two-primaries no vm-apb-oper</div><div> </div></div><div xmlns="http://www.w3.org/1999/xhtml">I've tried different congestion-* and other params for resource but it's no matter.</div><div xmlns="http://www.w3.org/1999/xhtml">If I disconnect the resource, VM functions flawlessly.</div><div xmlns="http://www.w3.org/1999/xhtml">How can I fix the problem?</div>