<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">

<html>

  <head>

    <meta content="text/html; charset=ISO-8859-1"

      http-equiv="Content-Type">

    <title></title>

  </head>

  <body bgcolor="#ffffff" text="#000000">

    <div align="justify">Hi,<br>

      We have exactly the same problem with large files copy.<br>

      We're running on Debian 64 bit, with kernel 3.0.3, drbd 8.3.11 and

      ocfs2 filesystem. We dedicated 2 10G ports to drbd.<br>

      Are you still encountering the same problem? Did you get some

      solutions from drbd team? Did you find some tricks on your own?<br>

      <br>

      Thanks in advance,<br>

      <br>

    </div>

    <br>

    Le 16/08/2011 01:24, Dennis Su a &eacute;crit&nbsp;:

    <blockquote

      cite="mid:F1A4661E613ADB448219C0BCBCFF7786031B318C@exc.hemlock.local"

      type="cite">

      <meta content="text/html; charset=ISO-8859-1"

        http-equiv="Content-Type">

      <meta name="GENERATOR" content="MSHTML 8.00.6001.19120">

      <div><span class="087551922-15082011"><font face="Arial" size="2">Hi,</font></span></div>

      <div><span class="087551922-15082011"></span>&nbsp;</div>

      <div><span class="087551922-15082011"><font face="Arial" size="2">We

            have two servers built, different hardware and capacity, on

            64 bit centos 5.6 with drbd 8.3.8, the backing devices are

            gfs2 devices layer on top of LVM, because different capacity

            on both nodes and that limits our ability to play with the

            barriers effectively. The server has two Gb ports, one

            connect to the network and the other connected with a

            crossover cable for dedicated drbd sync. We are running a

            number of tests to see how well they perform before putting

            into production. During the weeks long testing, one thing

            doesn't seem right and we've tried to play with the config

            to tweak it, but not gaining anything, so we go back to

            default for most settings as shown in the drbd show below. </font></span></div>

      <div><span class="087551922-15082011"><font face="Arial" size="2">It

            is a duo primary setup on a 10TB device. The sync/resync

            operations between nodes, without other activities on the

            drbd devices, is 63MB (sustained) on both way. However,

            adding the write to either node during the sync can cause

            the both write and sync speed to drop to 2KB. The situation

            can happen on any new write operation as well,&nbsp;initially

            the&nbsp;writing, first 10 seconds,&nbsp;are&nbsp;at the expected speed,

            then&nbsp;drbd sync kicks in, can see it from the /proc/drbd, it

            slows to almost stall, once the sync stopped, observed from

            from both ifstat and /proc/drbd, the writing to the node

            resume to expected speed, but once the sync start again the

            writing slows down.&nbsp;The pattern repeats until the entire

            write operation is complete. We have tested with small size

            files, the effect is minimum so no problems in there, but we

            intent to use these serves to store large files, which can

            be few GByte each.&nbsp;Initially, we though that&nbsp;high IO might

            be the culprit, then we took drbd out of the picture and

            just runs simultaneous read and write tests and they were

            fine with large and small&nbsp;files. Now we think that drbd

            might need to locked the file to perform the sync,&nbsp;during

            locked time the continues write stream on the&nbsp;file is not

            permitted,&nbsp;then once the sync is done drbd releases it for

            writing again. Then we tried tweaking the buffer and bio, no

            help. Of course, this just a guess,&nbsp;but if it is true, is

            that any ways to tweak drbd to perform better with big

            files.</font></span></div>

      <div><span class="087551922-15082011"><font face="Arial" size="2">We

            also tried swapping a cross over with a straight cable no

            improvements, </font></span></div>

      <div><span class="087551922-15082011"></span>&nbsp;</div>

      <div><span class="087551922-15082011"><font face="Arial" size="2">Thanks

            in advance,</font></span></div>

      <div><span class="087551922-15082011"><font face="Arial" size="2">Dennis</font></span></div>

      <div><span class="087551922-15082011"><font face="Arial" size="2">###################drbdsetup

            /dev/drbd0 show ##############</font></span></div>

      <div><span class="087551922-15082011"><font face="Arial" size="2">disk

            {<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0s _is_default; # bytes<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; on-io-error&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; detach;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fencing&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; dont-care _is_default;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; max-bio-bvecs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 _is_default;<br>

            }<br>

            net {<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; timeout&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 60 _is_default; # 1/10

            seconds<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; max-epoch-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2048 _is_default;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; max-buffers&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2048 _is_default;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; unplug-watermark&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 256;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; connect-int&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10 _is_default; # seconds<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ping-int&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10 _is_default; # seconds<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sndbuf-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 _is_default; # bytes<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rcvbuf-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 _is_default; # bytes<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ko-count&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 _is_default;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; allow-two-primaries;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; cram-hmac-alg&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; "sha1";<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; shared-secret&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; "<a moz-do-not-send="true"

              href="mailto:U$eP@sswd">U$eP@sswd</a>";<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; after-sb-0pri&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; discard-zero-changes;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; after-sb-1pri&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; discard-secondary;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; after-sb-2pri&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disconnect _is_default;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rr-conflict&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disconnect _is_default;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ping-timeout&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 _is_default; # 1/10

            seconds<br>

            }<br>

            syncer {<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rate&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 112640k; # bytes/second<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; after&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -1 _is_default;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; al-extents&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 257;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; delay-probe-volume&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16384k _is_default; # bytes<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; delay-probe-interval&nbsp;&nbsp;&nbsp; 5 _is_default; # 1/10

            seconds<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; throttle-threshold&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20 _is_default; # 1/10

            seconds<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; hold-off-threshold&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 100 _is_default; # 1/10

            seconds<br>

            }<br>

            protocol C;<br>

            _this_host {<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; minor 0;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; "/dev/mapper/vg0-r0";<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; meta-disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; internal;<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ipv4 10.1.1.35:7788;<br>

            }<br>

            _remote_host {<br>

            &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ipv4 10.1.1.29:7788;<br>

            }<br>

            ##############################</font></span></div>

      <p><font face="Tahoma" color="#0000ff" size="2">Hemlock Printers,

          Ltd.<br>

          (604) 439-5075</font></p>

      <a moz-do-not-send="true"

        title="gfidisc.c8ee20078354b54fb5fd4f35cb32bcdd" href="#"> </a>

      <pre wrap="">

<fieldset class="mimeAttachmentHeader"></fieldset>

_______________________________________________

drbd-user mailing list

<a class="moz-txt-link-abbreviated" href="mailto:drbd-user@lists.linbit.com">drbd-user@lists.linbit.com</a>

<a class="moz-txt-link-freetext" href="http://lists.linbit.com/mailman/listinfo/drbd-user">http://lists.linbit.com/mailman/listinfo/drbd-user</a>

</pre>

    </blockquote>

    <br>

    <br>

    <pre class="moz-signature" cols="72">-- 

Christophe Bouder,

</pre>

  </body>

</html>