<div dir="ltr">Great! many thanks for this..<div><br></div><div>Regards,</div><div>Yannis</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Mon, Feb 13, 2017 at 5:15 PM, Robert Altnoeder <span dir="ltr">&lt;<a href="mailto:robert.altnoeder@linbit.com" target="_blank">robert.altnoeder@linbit.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On 02/13/2017 05:57 PM, Yannis Milios wrote:<br>
&gt; pve3 still appear to have the resources available and refuses to leave<br>
&gt; the cluster. Is there anyway I can force remove pve3 and rejoin it to<br>
&gt; the cluster?<br>
&gt;<br>
&gt; Log link: <a href="http://pastebin.com/3dSC7RT5" rel="noreferrer" target="_blank">http://pastebin.com/3dSC7RT5</a><br>
</span>According to the log, pve3&#39;s control volumes are outdated.<br>
<br>
You can try to<br>
1. resync them<br>
2. wipe all DRBD data off pve3 and then rejoin the cluster<br>
<br>
Procedure:<br>
<br>
1. To attempt to resync, run on pve3:<br>
  drbdsetup down .drbdctrl<br>
  drbdadm create-md .drbdctrl<br>
  drbdadm up .drbdctrl<br>
<br>
  On pve1 &amp; pve2, run:<br>
  drbdadm connect .drbdctrl:pve3<br>
  if the resources are listed &#39;StandAlone&#39;<br>
<br>
  The volumes should resync automatically<br>
<br>
2. To remove pve3 from the cluster, run on pve1 or pve2<br>
  (preferable on the node that has the .drbdctrl in Primary):<br>
  drbdmanage remove-node --force pve3<br>
<br>
  This requires manual cleanup of the leftover data on pve3.<br>
  To achieve this, run on pve3:<br>
  drbdmanage uninit -qs<br>
  drbdsetup down all<br>
  Then remove any left-over backend (LVM) logical volumes<br>
  To rejoin the cluster, run on pve1 or pve2:<br>
  drbdmanage new-node pve3 &lt;ip-address&gt;<br>
  The pve3 node should rejoin either automatically, or a command<br>
  is printed that can be copy/pasted to pve3 to make that node rejoin<br>
  the cluster.<br>
<br>
DRBD® and LINBIT® are registered trademarks of LINBIT, Austria.<br>
<br>
&gt;<br>
&gt; Thanks,<br>
&gt; Yannis<br>
<br>
best regards,<br>
--<br>
Robert Altnoeder<br>
+43 1 817 82 92 0<br>
<a href="mailto:robert.altnoeder@linbit.com">robert.altnoeder@linbit.com</a><br>
<br>
LINBIT | Keeping The Digital World Running<br>
DRBD - Corosync - Pacemaker<br>
f /  t /  in /  g+<br>
<br>
DRBD® and LINBIT® are registered trademarks of LINBIT, Austria.<br>
<br>
______________________________<wbr>_________________<br>
drbd-user mailing list<br>
<a href="mailto:drbd-user@lists.linbit.com">drbd-user@lists.linbit.com</a><br>
<a href="http://lists.linbit.com/mailman/listinfo/drbd-user" rel="noreferrer" target="_blank">http://lists.linbit.com/<wbr>mailman/listinfo/drbd-user</a><br>
</blockquote></div><br></div>