<html>
  <head>

    <meta http-equiv="content-type" content="text/html; charset=utf-8">
  </head>
  <body bgcolor="#FFFFFF" text="#000000">
    Hello,<br>
    <br>
    We have a 3 node cluster setup with drbd9. Drbd9 really is very
    nice!<br>
    One node crashed, we have to bring this node back in the cluster. We
    cannot get this done.<br>
    We reinstalled it on the same way as the others, following this
    setup <a class="moz-txt-link-freetext" href="https://pve.proxmox.com/wiki/DRBD9">https://pve.proxmox.com/wiki/DRBD9</a>. Now we want te remove the
    failed node from the cluster on the primary node. Unfortunately we
    cannot delete an offline node from the cluster. It will give these
    messages "drbd .drbdctrl: Auto-promote failed: Multiple primaries
    not allowed by config"<br>
    <br>
    We think it would be the most easy way if we just remove the node
    from the cluster and add it again, so that all configuration and
    existing volumes will get synchronised automatically.<br>
    <br>
    Here are some details:<br>
    drbdmanage list-nodes<br>
+----------------------------------------------------------------------+<br>
    | Name  | Pool Size | Pool Free | Site |                     |  
    State |<br>
|----------------------------------------------------------------------|<br>
    | hyp10 |  16777216 |         0 |  N/A |                     |     
    ok |<br>
    | hyp20 |  16777216 |  16521161 |  N/A |                     |
    OFFLINE |<br>
    | hyp30 |  16777216 |   9690519 |  N/A |                     |     
    ok |<br>
+----------------------------------------------------------------------+<br>
    <br>
    drbdmanage remove-node -f hyp20<br>
    You are going to remove the node 'hyp20' from the cluster. This will
    remove all resources from the node.<br>
    Please confirm:<br>
      yes/no: yes<br>
    Jan  5 23:09:43 hyp30 kernel: [717721.879728] drbd .drbdctrl:
    Auto-promote failed: Multiple primaries not allowed by config<br>
    Jan  5 23:09:48 hyp30 kernel: [717726.880759] drbd .drbdctrl:
    Auto-promote failed: Multiple primaries not allowed by config<br>
    Jan  5 23:09:52 hyp30 kernel: [717731.278239] drbd .drbdctrl:
    Auto-promote failed: Multiple primaries not allowed by config<br>
    Jan  5 23:09:56 hyp30 kernel: [717735.163982] drbd .drbdctrl:
    Auto-promote failed: Multiple primaries not allowed by config<br>
    Jan  5 23:10:00 hyp30 kernel: [717738.849674] drbd .drbdctrl:
    Auto-promote failed: Multiple primaries not allowed by config<br>
    Jan  5 23:10:05 hyp30 kernel: [717743.614836] drbd .drbdctrl:
    Auto-promote failed: Multiple primaries not allowed by config<br>
    Traceback (most recent call last):<br>
      File "/usr/bin/drbdmanage", line 30, in &lt;module&gt;<br>
        drbdmanage_client.main()<br>
      File "/usr/lib/python2.7/dist-packages/drbdmanage_client.py", line
    3520, in main<br>
        client.run()<br>
      File "/usr/lib/python2.7/dist-packages/drbdmanage_client.py", line
    1130, in run<br>
        self.parse(sys.argv[1:])<br>
      File "/usr/lib/python2.7/dist-packages/drbdmanage_client.py", line
    991, in parse<br>
        args.func(args)<br>
      File "/usr/lib/python2.7/dist-packages/drbdmanage_client.py", line
    1301, in cmd_remove_node<br>
        dbus.String(node_name), dbus.Boolean(force)<br>
      File "/usr/lib/python2.7/dist-packages/dbus/proxies.py", line 70,
    in __call__<br>
        return self._proxy_method(*args, **keywords)<br>
      File "/usr/lib/python2.7/dist-packages/dbus/proxies.py", line 145,
    in __call__<br>
        **keywords)<br>
      File "/usr/lib/python2.7/dist-packages/dbus/connection.py", line
    651, in call_blocking<br>
        message, timeout)<br>
    dbus.exceptions.DBusException: org.freedesktop.DBus.Error.NoReply:
    Did not receive a reply. Possible causes include: the remote
    application did not send a reply, the message bus security policy
    blocked the reply, the reply timeout expired, or the network
    connection was broken.<br>
    <br>
    We also followed these guides
    <a class="moz-txt-link-freetext" href="http://drbd.linbit.com/users-guide-9.0/s-node-failure.html#s-perm-node-failure">http://drbd.linbit.com/users-guide-9.0/s-node-failure.html#s-perm-node-failure</a>,
    but without any success. How can we connect the resource .drbdctrl?<br>
    <br>
    Anybode some advice how to restore this cluster?<br>
    <div class="moz-signature"><br>
      Kind regards,<br>
      <br>
      Merijn<br>
      <meta http-equiv="CONTENT-TYPE" content="text/html; charset=utf-8">
      <title></title>
      <meta name="GENERATOR" content="OpenOffice.org 3.3 (Win32)">
      <meta name="CREATED" content="20120829;9181530">
      <meta name="CHANGED" content="20120829;9285657">
      <style type="text/css">
        <!--
                @page { margin: 0.79in }
                P { margin-bottom: 0.08in }
                A:link { so-language: zxx }
        -
        </style>
      <p style="margin-bottom: 0in"><br clear="LEFT">
      </p>
      <br>
    </div>
  </body>
</html>