<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
  </head>
  <body>
    <p>Thank you to all who helped me here, <br>
    </p>
    <p>I finally have my three nodes syncing and can breath a little
      more freely.  Your patience with me as I kept missing what was in
      front of me is appreciated.</p>
    <p>in gratitude<br>
    </p>
    <div class="moz-signature">
      <meta http-equiv="content-type" content="text/html; charset=UTF-8">
      <title></title>
      <p><b> Paul O'Rorke</b></p>
      <p><br>
        <br>
      </p>
      <p style="margin-bottom: 0cm; line-height: 100%"><br>
      </p>
    </div>
    <div class="moz-cite-prefix">On 2021-10-07 1:10 p.m., Paul D.
      O'Rorke wrote:<br>
    </div>
    <blockquote type="cite"
      cite="mid:eb580dfa-8486-78d2-5b83-9b75f933b18c@tracker-software.com">
      <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
      <p>Thanks Johanne,</p>
      <p>indeed this one of three hosts was running 8.4 kernel module,
        the example parses on the other hosts.  Thanks for that, I was
        sure I had 9.1 on them all.</p>
      <p>Very much appreciated <br>
      </p>
      <div class="moz-signature">
        <title></title>
        <p><b> Paul O'Rorke</b><br>
          <br>
        </p>
        <p style="margin-bottom: 0cm; line-height: 100%"><br>
        </p>
      </div>
      <div class="moz-cite-prefix">On 2021-10-07 12:59 p.m., <a
          class="moz-txt-link-abbreviated"
          href="mailto:johannes@johannesthoma.com"
          moz-do-not-send="true">johannes@johannesthoma.com</a> wrote:<br>
      </div>
      <blockquote type="cite"
cite="mid:-r0ucdijm8t62-qrpkgd-hsn0m0mppk2s-9vhpuxgst7jvewdej2gezgtc-4gn9uanagc0u-lsq9tayxkslz-arqerf-pcteya56xmf8-o8m2rg-b4sil0upq41gogf3c9-yua3caxehoe5-4vl7up-j3ds3d.1633636761835@email.android.com">
        You probably have a DRBD 8 kernel module loaded, then drbdadm
        parses the configuration in v8 format which doesn't have
        node-id. <br>
        <br>
        Hope that helps, <br>
        <br>
        Best regards Johannes <br>
        <br>
        Von meinem Huawei-Mobiltelefon gesendet
        <div class="quote" style="line-height: 1.5"><br>
          <br>
          -------- Originalnachricht --------<br>
          Betreff: Re: [DRBD-user] V9 res file syntax<br>
          Von: "Paul D. O'Rorke" <paul@tracker-software.com><br>
            An: <a class="moz-txt-link-abbreviated"
              href="mailto:drbd-user@lists.linbit.com"
              moz-do-not-send="true">drbd-user@lists.linbit.com</a><br>
            Cc: <br>
            <br>
            <br type="attribution">
            <blockquote class="quote" style="margin:0 0 0
              .8ex;border-left:1px #ccc solid;padding-left:1ex">
              <p>Can I convince anyone to show me a working res file for
                the V9 3 node setup with multiple NICs and direct
                connections?</p>
              <p>Try as I may I simply cannot get my res file to parse.</p>
              <p>I even tried doing it all on the one network as per the
                first example but I can't even get the examples to
                parse, a copy/paste of the 3 node example complains that
                "connection-mesh" in in the wrong place.  I figured I
                would take a working example and go from there but even
                then I get:</p>
              <blockquote>
                <p><font face="monospace">drbd.d/webdav.res:7: Parse
                    error: 'disk | device | address | meta-disk |
                    flexible-meta-disk' expected,<br>
                            but got 'node-id'</font></p>
              </blockquote>
              <p>so I can't even seem to get the right structure and I
                am clearly missing something fundamental here...</p>
              <p>Does anyone have any suggestions? <br>
              </p>
              <div class="moz-signature">
                <title></title>
                <p><b> Paul O'Rorke</b><br>
                  <br>
                </p>
                <p style="margin-bottom: 0cm; line-height: 100%"><br>
                </p>
              </div>
              <div class="moz-cite-prefix">On 2021-10-05 3:13 p.m., Paul
                D. O'Rorke wrote:<br>
              </div>
              <blockquote type="cite"
                cite="mid:d9c0d9f3-d940-03c2-eb76-c7ff31964b19@tracker-software.com">
                <p>Hi guys,</p>
                <p>sorry to keep bugging you with this.  Can anyone give
                  me a sample working res file for a 3 node setup with
                  crossover links?  <br>
                </p>
                <p>It says here <a moz-do-not-send="true"
href="https://linbit.com/drbd-user-guide/drbd-guide-9_0-en/#s-drbdconf-conns">https://linbit.com/drbd-user-guide/drbd-guide-9_0-en/#s-drbdconf-conns</a>
                  :<br>
                </p>
                <p>"If you have got enough network cards in your
                  servers, you can create direct cross-over links
                  between server pairs. A single four-port ethernet card
                  allows to have a single management interface, and to
                  connect 3 other servers, to get a full mesh for 4
                  cluster nodes."</p>
                <p>I do, and each of the three nodes can ping the other
                  two nodes to which they are connect.  But I am
                  confused about how/where their IPs and ports are
                  defined in the .res file.    I have three hosts
                  connected directly via discrete interfaces on each
                  node.:</p>
                <p>01 &lt;----&gt; 02 ---- 10.10.1.0/24<br>
                  02 &lt;----&gt; 03 ---- 10.10.2.0/24<br>
                  01 &lt;----&gt; 03 ---- 10.10.3.0/24</p>
                <p>back to the page is then says this:<br>
                </p>
                <p>In this case you can specify a different IP address
                  to use the direct link:<br>
                  <br>
                  resource r0 {<br>
                    ...<br>
                    connection {<br>
                      host alice   address 10.1.2.1:7010;<br>
                      host bob     address 10.1.2.2:7001;<br>
                    }<br>
                    connection {<br>
                      host alice   address 10.1.3.1:7020;<br>
                      host charlie address 10.1.3.2:7002;<br>
                    }<br>
                    connection {<br>
                      host bob     address 10.1.4.1:7021;<br>
                      host charlie address 10.1.4.2:7012;<br>
                    }<br>
                  }<br>
                </p>
                <p>I assume the ... on line 2 is referring to the
                  previous example above that, which is:<br>
                  <br>
                </p>
                <pre style="box-sizing: border-box; font-family: monospace, monospace; font-size: 16px; white-space: pre; overflow: scroll hidden; color: rgb(0, 0, 0); font-style: normal; font-variant-ligatures: normal; font-variant-caps: normal; font-weight: 400; letter-spacing: normal; orphans: 2; text-align: start; text-indent: 0px; text-transform: none; widows: 2; word-spacing: 0px; -webkit-text-stroke-width: 0px; background-color: rgb(255, 255, 255); text-decoration-thickness: initial; text-decoration-style: initial; text-decoration-color: initial;">resource r0 {
  device    /dev/drbd1;
  disk      /dev/sda7;
  meta-disk internal;
  on alice {
    address   10.1.1.31:7000;
    node-id   0;
  }
  on bob {
    address   10.1.1.32:7000;
    node-id   1;
  }
  on charlie {
    address   10.1.1.33:7000;
    node-id   2;
  }
  connection-mesh {
    hosts alice bob charlie;
  }
}

But I keep getting parsing errors no matter where I put that "connection" stanza.  drbdadm complains with:

# drbdadm up webdav
drbd.d/webdav.res:18: Parse error: 'protocol | on | disk | net | syncer | startup | handlers | ignore-on | stacked-on-top-of' expected,
 but got 'connection' (TK 282)

I do apologize if I am again asking a question the answer to which is right in front of my face and I'm not seeing it, but where do the three "connection" statements go?  Obviously they don't go where I put them.
What would a complete example of a 3 node V9 with a discrete NIC and cable between each node look like?

Please and thanks and sorry to be asking such a newb question.  :(

Paul



</pre>
                <br>
                <fieldset class="mimeAttachmentHeader"></fieldset>
                <pre class="moz-quote-pre" wrap="">_______________________________________________
Star us on GITHUB: <a class="moz-txt-link-freetext" href="https://github.com/LINBIT" moz-do-not-send="true">https://github.com/LINBIT</a>
drbd-user mailing list
<a class="moz-txt-link-abbreviated" href="mailto:drbd-user@lists.linbit.com" moz-do-not-send="true">drbd-user@lists.linbit.com</a>
<a class="moz-txt-link-freetext" href="https://lists.linbit.com/mailman/listinfo/drbd-user" moz-do-not-send="true">https://lists.linbit.com/mailman/listinfo/drbd-user</a>
</pre>
              </blockquote>
            </blockquote>
          </paul@tracker-software.com></div>
      </blockquote>
      <br>
      <fieldset class="mimeAttachmentHeader"></fieldset>
      <pre class="moz-quote-pre" wrap="">_______________________________________________
Star us on GITHUB: <a class="moz-txt-link-freetext" href="https://github.com/LINBIT">https://github.com/LINBIT</a>
drbd-user mailing list
<a class="moz-txt-link-abbreviated" href="mailto:drbd-user@lists.linbit.com">drbd-user@lists.linbit.com</a>
<a class="moz-txt-link-freetext" href="https://lists.linbit.com/mailman/listinfo/drbd-user">https://lists.linbit.com/mailman/listinfo/drbd-user</a>
</pre>
    </blockquote>
  </body>
</html>