<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">I believe that you are right in your assessment. Unfortunately, after this I seem to be stuck in a situation in which both nodes are not connected through DRBD:<div><br></div><div>In A:</div><div><br></div><div><div># cat /proc/drbd </div><div>version: 8.4.11-1 (api:1/proto:86-101)</div><div>GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@, 2018-11-03 01:26:55</div><div><br></div><div> 1: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----</div><div>    ns:0 nr:0 dw:4 dr:2161 al:1 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:336</div></div><div><br></div><div>#  drbdadm status</div><div>my-data role:Primary</div><div>  disk:UpToDate</div><div>  peer connection:Connecting</div><div><br></div><div>In B:</div><div><br></div><div><div># cat /proc/drbd </div><div>version: 8.4.11-1 (api:1/proto:86-101)</div><div>GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@, 2018-11-03 01:26:55</div><div><br></div><div> 1: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----</div><div>    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:24</div></div><div><br></div><div># drbdadm status</div><div><div>my-data role:Secondary</div><div>  disk:UpToDate</div><div>  peer connection:Connecting</div></div><div><br></div><div>I have tried numerous things - including rebooting both VMs where the nodes live - to no avail.</div><div><br></div><div><br></div></div></div></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Apr 4, 2019 at 2:20 AM Robert Altnoeder &lt;<a href="mailto:robert.altnoeder@linbit.com" target="_top">robert.altnoeder@linbit.com</a>&gt; wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 4/3/19 8:52 PM, JCA wrote:<br>
&gt; In both nodes I have a file named my-data.res under /etc/drdb.d, with<br>
&gt; the following contents (identical in both nodes):<br>
&gt;<br>
&gt; [...]<br>
&gt;             net {<br>
&gt;              allow-two-primaries;<br>
&gt;             }<br>
<br>
Since you have an ext4 on the DRBD device, allow-two-primaries is<br>
dangerous and unnecessary<br>
<br>
&gt; [...]<br>
&gt;              # pcs cluster stop A<br>
&gt;<br>
&gt; [...]<br>
&gt;<br>
&gt; Next I started and stopped both A and B (the nodes, not the VMs)<br>
&gt; [...]<br>
&gt; In this situation, when I list the contents of /var/lib/my-data in A,<br>
&gt; I find it to be empty - as expected, for A has been stopped. When I<br>
&gt; list the contents of /var/lib/my-data in B, however, what I see is<br>
&gt; files f1 and f2, not f3 and f4.<br>
<br>
Most probably, you have created a split brain situation by starting and<br>
stopping resources or nodes in an incorrect order, e.g.<br>
standby node A<br>
standby node B<br>
online node A<br>
online node B<br>
<br>
What happens in this case is:<br>
1. DRBD on node A stops replicating<br>
2. DRBD on node B goes into the Primary role and makes changes to the data<br>
3. DRBD on node B stops replicating<br>
4. DRBD on node A starts, goes into the Primary role and makes changes<br>
to the data<br>
    (without having resynchronized the changes from node B, because node<br>
B&#39;s DRBD is not online)<br>
5. DRBD on node B starts and cannot resynchronize anymore, because the<br>
datasets on node A and node B have diverged<br>
    (aka a &quot;split brain&quot;)<br>
<br>
Nodes must either be stopped only if the DRBD resources have stopped on<br>
both nodes in an &quot;UpToDate&quot; disk state, or they must be stopped and<br>
started in the correct order, which is:<br>
standby node A<br>
standby node B<br>
online node B<br>
online node A<br>
- or -<br>
standby node B<br>
standby node A<br>
online node A<br>
online node B<br>
<br>
There are also move/migrate commands to move resource, which lets you<br>
avoid stopping the replicating/Secondary side of the DRBD resource.<br>
<br>
br,<br>
Robert<br>
<br>
_______________________________________________<br>
drbd-user mailing list<br>
<a href="mailto:drbd-user@lists.linbit.com" target="_top">drbd-user@lists.linbit.com</a><br>
<a href="http://lists.linbit.com/mailman/listinfo/drbd-user" rel="noreferrer" target="_top">http://lists.linbit.com/mailman/listinfo/drbd-user</a><br>
</blockquote></div></div>