<div dir="ltr"><div>Hi, today we&#39;ve got an alert that some resources on three nodes become to Outdated state.</div><div>Nothing was changed, issue occurred suddenly and is currently persisting.</div><div></div><div><div><br></div><div>drbd version: 9.0.19-1</div><div>kernel version: 4.15.18-12-pve</div><div><br></div><div>The weird thing is that some resources working fine on same nodes, but some of them dont.</div><div></div><div><br></div><div>I&#39;ve tried to run drbdadm disconnect &amp;&amp; drbdadm connect for all failed resources on all three nodes, but it didn&#39;t help much.</div><div>ifdown/ifup for data network interface restart didn&#39;t help too. TCP-ports are open, but pve1 and pve3 resets the connection immediately.<br></div><div><br></div><div>What&#39;s happening and how can we resolve this?</div><div></div><div>Thank you!<br></div><div><br></div></div><div>I attach the logs for one resource from three nodes. It was Primary on pve2 and Secondary on pve1 amd pve3 nodes.</div><div><br></div><div>root@pve2:~# drbdadm status pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f<br>pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f role:Primary<br>  disk:UpToDate<br>  pve1 connection:Connecting<br>  pve3 connection:Connecting</div><div><br></div><div>root@pve2:~# dmesg -T | grep pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f</div><div>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f: Preparing cluster-wide state change 1999068598 (2-&gt;3 496/16)<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f: State change 1999068598: primary_nodes=4, weak_nodes=FFFFFFFFFFFFFFF9<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f: Committing cluster-wide state change 1999068598 (0ms)<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve1: conn( Connected -&gt; Disconnecting ) peer( Secondary -&gt; Unknown )<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f/0 drbd2069 pve1: pdsk( UpToDate -&gt; DUnknown ) repl( Established -&gt; Off )<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve1: ack_receiver terminated<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve1: Terminating ack_recv thread<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve1: Connection closed<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve1: conn( Disconnecting -&gt; StandAlone )<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve1: Terminating receiver thread<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f: Preparing cluster-wide state change 303080422 (2-&gt;1 496/16)<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f: State change 303080422: primary_nodes=4, weak_nodes=FFFFFFFFFFFFFFFB<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: Cluster is now split<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f: Committing cluster-wide state change 303080422 (0ms)<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: conn( Connected -&gt; Disconnecting ) peer( Secondary -&gt; Unknown )<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f/0 drbd2069 pve3: pdsk( UpToDate -&gt; DUnknown ) repl( Established -&gt; Off )<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: ack_receiver terminated<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: Terminating ack_recv thread<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: Connection closed<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: conn( Disconnecting -&gt; StandAlone )<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: Terminating receiver thread<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f/0 drbd2069: rs_discard_granularity feature disabled<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve1: conn( StandAlone -&gt; Unconnected )<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve1: Starting receiver thread (from drbd_w_pvc-0c26 [16956])<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve1: conn( Unconnected -&gt; Connecting )<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: conn( StandAlone -&gt; Unconnected )<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: Starting receiver thread (from drbd_w_pvc-0c26 [16956])<br>[Fri Oct 25 14:47:44 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: conn( Unconnected -&gt; Connecting )<br>[Fri Oct 25 14:47:45 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f/0 drbd2069: new current UUID: 0407098B236D1403 weak: FFFFFFFFFFFFFFFB<br></div><div>...<br></div><div></div><div><br></div><div>root@pve1:~# drbdadm status pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f<br>pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f role:Secondary<br>  disk:Outdated<br>  pve2 connection:Connecting<br>  pve3 connection:Connecting<br><br></div><div>root@pve1:~# dmesg -T | grep pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f<br></div><div>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Preparing remote state change 1999068598 <br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Committing remote state change 1999068598 (primary_nodes=4)<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: conn( Connected -&gt; TearDown ) peer( Primary -&gt; Unknown )<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f/0 drbd2069: disk( UpToDate -&gt; Outdated )<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f/0 drbd2069 pve2: pdsk( UpToDate -&gt; DUnknown ) repl( Established -&gt; Off )<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: ack_receiver terminated<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Terminating ack_recv thread<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Restarting sender thread<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Connection closed<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: conn( TearDown -&gt; Unconnected )<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Restarting receiver thread<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: conn( Unconnected -&gt; Connecting )<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: Preparing remote state change 303080422 <br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: Committing remote state change 303080422 (primary_nodes=4)<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f/0 drbd2069 pve3: pdsk( UpToDate -&gt; Outdated )<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve3: No reconciliation resync even though &#39;pve2&#39; disappeared. (o=0)<br>[Fri Oct 25 14:52:12 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:52:21 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:52:30 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:52:38 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:52:50 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:02 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:11 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:23 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:32 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:43 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:56 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:54:07 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2</div><div>...</div><div><br></div><div>root@pve3:~# drbdadm status pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f<br>pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f role:Secondary<br>  disk:Outdated<br>  pve1 connection:Connecting<br>  pve2 connection:Connecting</div><div><br></div><div>dmesg -T | grep pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f</div><div>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Preparing remote state change 1999068598 <br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Committing remote state change 1999068598 (primary_nodes=4)<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f/0 drbd2069 pve1: pdsk( UpToDate -&gt; Outdated )<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Preparing remote state change 303080422 <br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Committing remote state change 303080422 (primary_nodes=4)<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: conn( Connected -&gt; TearDown ) peer( Primary -&gt; Unknown )<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f/0 drbd2069: disk( UpToDate -&gt; Outdated )<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f/0 drbd2069 pve2: pdsk( UpToDate -&gt; DUnknown ) repl( Established -&gt; Off )<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: ack_receiver terminated<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Terminating ack_recv thread<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Restarting sender thread<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Connection closed<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: conn( TearDown -&gt; Unconnected )<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: Restarting receiver thread<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f pve2: conn( Unconnected -&gt; Connecting )<br>[Fri Oct 25 14:52:01 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:52:13 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:52:22 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:52:33 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:52:45 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:52:54 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:06 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:15 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:27 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:35 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:47 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:53:56 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br>[Fri Oct 25 14:54:05 2019] drbd pvc-0c26a3e2-bffd-4fee-916d-e28ea741d73f tcp:pve2: Closing unexpected connection from 10.37.20.2<br></div><div>...<br></div><div><br></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">- kvaps<br></div></div></div></div>