<div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr">Hey all,<div>I&#39;m relatively new to DRBD and I am having a really hard time figuring out what I have done wrong or am missing.  here is everything I can think of to share. any suggestions welcome.</div><div><br></div><div><div>[node1 drbd.d]# uname -a</div><div>Linux jetms1 3.10.0-957.5.1.el7.x86_64 #1 SMP Fri Feb 1 14:54:57 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux</div><div><div>[node1 drbd.d]# rpm -qa |grep drbd</div><div>drbd84-utils-9.6.0-1.el7.elrepo.x86_64</div><div>kmod-drbd84-8.4.11-1.1.el7_6.elrepo.x86_64</div><div>drbdlinks-1.28-3.el7.noarch</div><div><div>[node1 drbd.d]# fdisk -l</div><div>WARNING: fdisk GPT support is currently new, and therefore in an experimental phase. Use at your own discretion.</div><div><br></div><div>Disk /dev/sda: 1599.7 GB, 1599741100032 bytes, 3124494336 sectors</div><div>Units = sectors of 1 * 512 = 512 bytes</div><div>Sector size (logical/physical): 512 bytes / 512 bytes</div><div>I/O size (minimum/optimal): 512 bytes / 512 bytes</div><div>Disk label type: gpt</div><div>Disk identifier: BCF52711-BBB4-4B14-8791-EB1020E33701</div><div><br></div><div><br></div><div>#         Start          End    Size  Type            Name</div><div> 1         2048      4196351      2G  EFI System      EFI System Partition</div><div> 2      4196352      8390655      2G  Microsoft basic</div><div> 3      8390656    532678655    250G  Microsoft basic</div><div> 4    532678656    637536255     50G  Microsoft basic</div><div> 5    637536256    671090687     16G  Linux swap</div><div> 6    671090688    671156223     32M  Linux filesyste</div><div> 7    671156224    671188991     16M  Linux filesyste</div><br class="gmail-Apple-interchange-newline"></div></div><div><br></div><div><div>[node2 drbd.d]# uname -a</div><div>Linux jetms2 3.10.0-957.5.1.el7.x86_64 #1 SMP Fri Feb 1 14:54:57 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux</div><div><div>[node2 drbd.d]# rpm -qa |grep drbd</div><div>drbd84-utils-9.6.0-1.el7.elrepo.x86_64</div><div>kmod-drbd84-8.4.11-1.1.el7_6.elrepo.x86_64</div><div>drbdlinks-1.28-3.el7.noarch</div><div><div>[node2 drbd.d]# fdisk -l</div><div>WARNING: fdisk GPT support is currently new, and therefore in an experimental phase. Use at your own discretion.</div><div><br></div><div>Disk /dev/sda: 1599.7 GB, 1599741100032 bytes, 3124494336 sectors</div><div>Units = sectors of 1 * 512 = 512 bytes</div><div>Sector size (logical/physical): 512 bytes / 512 bytes</div><div>I/O size (minimum/optimal): 512 bytes / 512 bytes</div><div>Disk label type: gpt</div><div>Disk identifier: 7605E5A7-CAAF-46EA-BCA4-D730A6233ADF</div><div><br></div><div><br></div><div>#         Start          End    Size  Type            Name</div><div> 1         2048      4196351      2G  EFI System      EFI System Partition</div><div> 2      4196352      8390655      2G  Microsoft basic</div><div> 3      8390656    532678655    250G  Microsoft basic</div><div> 4    532678656    566233087     16G  Linux swap</div><div> 5    566233088    671090687     50G  Microsoft basic</div><div> 6    671090688    671156223     32M  Linux filesyste</div><div> 7    671156224    671188991     16M  Linux filesyste</div><div><br></div><div>Disk /dev/drbd0: 33 MB, 33554432 bytes, 65536 sectors</div><div>Units = sectors of 1 * 512 = 512 bytes</div><div>Sector size (logical/physical): 512 bytes / 512 bytes</div><div>I/O size (minimum/optimal): 512 bytes / 512 bytes</div></div></div></div><div><br></div><div>the config file:</div><div><div>[node1 drbd.d]# cat /etc/drbd.d/drbd0.res</div><div>resource drbd0 {</div><div>  protocol C;</div><div>  meta-disk internal;</div><div>  device  /dev/drbd0;</div><div>  net {</div><div>    verify-alg sha1;</div><div>    after-sb-0pri discard-least-changes;</div><div>    after-sb-1pri consensus;</div><div>    after-sb-2pri call-pri-lost-after-sb;</div><div>    sndbuf-size 10M;</div><div>    rcvbuf-size 10M;</div><div>    ping-int 30;</div><div>    ping-timeout 40;</div><div>    connect-int 10;</div><div>    timeout 120;</div><div>    ko-count 5;</div><div>    max-buffers 128k;</div><div>    max-epoch-size 8192;</div><div>  }</div><div>  syncer {</div><div>    c-plan-ahead 20;</div><div>    c-min-rate 1M;</div><div>    c-max-rate 300M;</div><div>    c-fill-target 2M;</div><div>    al-extents 3389;</div><div>  }</div><div>  on node1 {</div><div>    disk /dev/sda6;</div><div>    meta-disk /dev/sda7;</div><div>    address X.X.X.95:7788;</div><div>  }</div><div>  on node2 {</div><div>    disk /dev/sda6;</div><div>    meta-disk /dev/sda7;</div><div>    address X.X.X.96:7788;</div><div>  }</div><div>  disk {</div><div>    resync-rate 220M;</div><div>  }</div><div>}</div></div><div><br></div><div><div>[node2 drbd.d]# cat /proc/drbd</div><div>version: 8.4.11-1 (api:1/proto:86-101)</div><div>GIT-hash: 66145a308421e9c124ec391a7848ac20203bb03c build by mockbuild@, 2018-11-03 01:26:55</div><div> 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r---n-</div><div>    ns:8980 nr:0 dw:0 dr:613264 al:0 bm:0 lo:0 pe:36 ua:105 ap:0 ep:1 wo:f oos:32512</div><div>        [=&gt;..................] sync&#39;ed: 12.5% (32512/32512)K</div><div>        finish: 0:04:03 speed: 0 (0) K/sec</div><div><br></div></div><div>So I originally had 1T drive space and 32M, i was originally trying to sync from node1 to node2, I&#39;ve made a number of changes to the drbd0.res files.  I&#39;ve rebooted both nodes, I can ssh between both nodes.  No matter what i changed, the speed never goes above 0. SELinux is turned off.</div><div><br></div><div>Here is a snippet from /car/log/messages</div><div><br></div><div><div>Mar 15 09:33:40 jetms2 kernel: drbd drbd0: receiver terminated</div><div>Mar 15 09:33:40 jetms2 kernel: drbd drbd0: Restarting receiver thread</div><div>Mar 15 09:33:40 jetms2 kernel: drbd drbd0: receiver (re)started</div><div>Mar 15 09:33:40 jetms2 kernel: drbd drbd0: conn( Unconnected -&gt; WFConnection )</div><div>Mar 15 09:33:44 jetms2 kernel: drbd drbd0: Handshake successful: Agreed network protocol version 101</div><div>Mar 15 09:33:44 jetms2 kernel: drbd drbd0: Feature flags enabled on protocol level: 0xf TRIM THIN_RESYNC WRITE_SAME WRITE_ZEROES.</div><div>Mar 15 09:33:44 jetms2 kernel: drbd drbd0: conn( WFConnection -&gt; WFReportParams )</div><div>Mar 15 09:33:44 jetms2 kernel: drbd drbd0: Starting ack_recv thread (from drbd_r_drbd0 [130443])</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: drbd_sync_handshake:</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: self D5273482D7DD2749:D94619D31B2CC10E:D94519D31B2CC10E:D94419D31B2CC10E bits:8128 flags:0</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: peer D94619D31B2CC10E:0000000000000000:0000000000000000:0000000000000000 bits:8128 flags:0</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: uuid_compare()=1 by rule 70</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: Becoming sync source due to disk states.</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: peer( Unknown -&gt; Secondary ) conn( WFReportParams -&gt; WFBitMapS )</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: send bitmap stats [Bytes(packets)]: plain 0(0), RLE 22(1), total 22; compression: 98.0%</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: receive bitmap stats [Bytes(packets)]: plain 0(0), RLE 22(1), total 22; compression: 98.0%</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: helper command: /sbin/drbdadm before-resync-source minor-0</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: helper command: /sbin/drbdadm before-resync-source minor-0 exit code 0 (0x0)</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: conn( WFBitMapS -&gt; SyncSource )</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: Began resync as SyncSource (will sync 32512 KB [8128 bits set]).</div><div>Mar 15 09:33:44 jetms2 kernel: block drbd0: updated sync UUID D5273482D7DD2749:D94719D31B2CC10E:D94619D31B2CC10E:D94519D31B2CC10E</div><div>Mar 15 09:34:08 jetms2 kernel: drbd drbd0: [drbd_w_drbd0/108961] sock_sendmsg time expired, ko = 4</div><div>Mar 15 09:34:20 jetms2 kernel: drbd drbd0: [drbd_w_drbd0/108961] sock_sendmsg time expired, ko = 3</div><div>Mar 15 09:34:32 jetms2 kernel: drbd drbd0: [drbd_w_drbd0/108961] sock_sendmsg time expired, ko = 2</div><div>Mar 15 09:34:44 jetms2 kernel: drbd drbd0: [drbd_w_drbd0/108961] sock_sendmsg time expired, ko = 1</div><div>Mar 15 09:34:56 jetms2 kernel: block drbd0: drbd_send_block() failed</div><div>Mar 15 09:34:56 jetms2 kernel: drbd drbd0: peer( Secondary -&gt; Unknown ) conn( SyncSource -&gt; NetworkFailure )</div><div>Mar 15 09:34:56 jetms2 kernel: drbd drbd0: ack_receiver terminated</div><div>Mar 15 09:34:56 jetms2 kernel: drbd drbd0: Terminating drbd_a_drbd0</div><div>Mar 15 09:34:56 jetms2 kernel: block drbd0: net_ee not empty, killed 36 entries</div><div>Mar 15 09:34:56 jetms2 kernel: drbd drbd0: Connection closed</div><div>Mar 15 09:34:56 jetms2 kernel: drbd drbd0: conn( NetworkFailure -&gt; Unconnected )</div><div>Mar 15 09:34:56 jetms2 kernel: drbd drbd0: receiver terminated</div><div>Mar 15 09:34:56 jetms2 kernel: drbd drbd0: Restarting receiver thread</div></div><div><br></div><div><br></div>-- <br><div dir="ltr" class="gmail_signature"><div dir="ltr"><br><div>JIM Carlisi</div><div><div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:medium"><a href="mailto:james.carlisi@noaa.gov" target="_blank">james.carlisi@noaa.gov</a> | m: 919-332-1278<br></div><div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:medium"><u><b><br></b></u></div><div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:medium">&quot;We don&#39;t stop playing because we grow old;</div><div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:medium">we grow old because we stop playing.&quot;</div><div style="color:rgb(0,0,0);font-family:Calibri,Arial,Helvetica,sans-serif;font-size:medium">- George Bernard Shaw</div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div>