<div dir="ltr">Thanks Igor for another tip by switching over to asynchronous A protocol, for WAN network.<div>There was no improvement as suggested by <a href="http://www.gossamer-threads.com/lists/drbd/users/27510">other email thread</a> that we should see 2x write bandwidth increase.<br><div><br></div><div><div>[root@vmA2vmC ~]# ./drbdtest.bash</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 0.854164 s, 629 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 0.578418 s, 928 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 0.631658 s, 850 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 0.577289 s, 930 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 0.773748 s, 694 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 0.635504 s, 845 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 0.63825 s, 841 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 0.602557 s, 891 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 0.583016 s, 921 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 0.606236 s, 886 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 19.3083 s, 27.8 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 17.7925 s, 30.2 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 16.5809 s, 32.4 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 17.4038 s, 30.8 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 16.5223 s, 32.5 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 16.7767 s, 32.0 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 15.1224 s, 35.5 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 16.668 s, 32.2 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 16.5105 s, 32.5 MB/s</div><div>1+0 records in</div><div>1+0 records out</div><div>536870912 bytes (537 MB) copied, 16.6164 s, 32.3 MB/s</div><div>1000+0 records in</div><div>1000+0 records out</div><div>512000 bytes (512 kB) copied, 1.39062 s, 368 kB/s</div><div>1000+0 records in</div><div>1000+0 records out</div><div>512000 bytes (512 kB) copied, 1.40759 s, 364 kB/s</div><div>1000+0 records in</div><div>1000+0 records out</div><div>512000 bytes (512 kB) copied, 1.6254 s, 315 kB/s</div><div>1000+0 records in</div><div>1000+0 records out</div><div>512000 bytes (512 kB) copied, 1.61219 s, 318 kB/s</div><div>1000+0 records in</div><div>1000+0 records out</div><div>512000 bytes (512 kB) copied, 2.18549 s, 234 kB/s</div><div>1000+0 records in</div><div>1000+0 records out</div><div>512000 bytes (512 kB) copied, 1.22317 s, 419 kB/s</div><div>1000+0 records in</div><div>1000+0 records out</div><div>512000 bytes (512 kB) copied, 1.42974 s, 358 kB/s</div><div>1000+0 records in</div><div>1000+0 records out</div><div>512000 bytes (512 kB) copied, 1.7516 s, 292 kB/s</div><div>1000+0 records in</div><div>1000+0 records out</div><div>512000 bytes (512 kB) copied, 1.72105 s, 297 kB/s</div><div>1000+0 records in</div><div>1000+0 records out</div><div>512000 bytes (512 kB) copied, 1.57352 s, 325 kB/s</div><div>[root@vmA2vmC ~]# cat ./drbdtest.bash</div><div>TEST_FILE=drbd-write-test.img</div><div># write to local disk</div><div>for i in $(seq 10); do</div><div>  dd if=/dev/zero of=/root/$TEST_FILE bs=512M count=1 oflag=direct</div><div>  sleep 5</div><div>done</div><div>rm -f /root/$TEST_FILE</div><div><br></div><div># write to /dev/drbd1 mounted as /pub</div><div>for i in $(seq 10); do</div><div>  dd if=/dev/zero of=/pub/$TEST_FILE bs=512M count=1 oflag=direct</div><div>  sleep 5</div><div>done</div><div>rm -f /pub/$TEST_FILE</div><div><br></div><div><br></div><div>for i in $(seq 10); do</div><div>  dd if=/dev/zero of=/pub/$TEST_FILE bs=512 count=1000 oflag=direct</div><div>  sleep 5</div><div>done</div><div>rm -f /pub/$TEST_FILE</div><div><br></div><div><br></div><div><div>[root@vmA2vmC ~]# cat /proc/drbd</div><div>version: 8.4.7-1 (api:1/proto:86-101)</div><div>GIT-hash: 3a6a769340ef93b1ba2792c6461250790795db49 build by phil@Build64R7, 2016-01-12 14:29:40</div><div><br></div><div> 1: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate A r-----</div><div>    ns:5253671 nr:0 dw:5253671 dr:1577 al:51 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:d oos:0</div><div>[root@vmA2vmC ~]#</div></div><div><br></div></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Jul 1, 2016 at 10:46 AM, Igor Cicimov <span dir="ltr">&lt;<a href="mailto:icicimov@gmail.com" target="_blank">icicimov@gmail.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><p dir="ltr"><span class=""><br>
On 1 Jul 2016 3:48 pm, &quot;T.J. Yang&quot; &lt;<a href="mailto:tjyang2001@gmail.com" target="_blank">tjyang2001@gmail.com</a>&gt; wrote:<br>
&gt;<br>
&gt; Hi All<br>
&gt;<br>
&gt; I am new to drbd performance turning and I have been study (R0). <br>
&gt; Aso I am browsing others effort in drbd-user archive (R1).<br>
&gt; I was able to get 350MB/s rsync rate (R2) for two Centos 7.2 VMs(A and B) when they are on same LAN with turning from (R1) thread. <br>
&gt;<br>
&gt; My goal is to have C Centos 7.2 VM paired with A VM that go over a fast  WAN pipe(R3). but when I reuse B&#39;s drbd config and change the IP info. The rsync rate back to 30-40M rsync rate(See R4).<br>
&gt;<br>
&gt; I tried the jumbo frame turning to raise MTU from 1500 to 8000(RH Support article recommend 8000, not 9000). But this change on VM A and C doesn&#39;t not improve rsync rate.<br>
&gt;<br>
&gt;<br>
&gt; Does networking team  need do any change on their swith/router  for drbd case ?<br>
&gt;<br></span>
You need jumbo frames enabled on the switch too.</p>
<p dir="ltr"></p><div><div class="h5">&gt;<br>
&gt; References:<br>
&gt; R0: <a href="https://www.drbd.org/en/doc/users-guide-84/p-performance" target="_blank">https://www.drbd.org/en/doc/users-guide-84/p-performance</a><br>
&gt; R1: <a href="http://lists.linbit.com/pipermail/drbd-user/2016-January/022611.html" target="_blank">http://lists.linbit.com/pipermail/drbd-user/2016-January/022611.html</a><br>
&gt; R2:<br>
&gt;<br>
&gt; #this is between vmA(10.65.184.1) and vmB(10.65.184.3), same subnet.<br>
&gt;<br>
&gt; [root@vmA ~]# ./drbd-pm-test.bash wandk0 # script from R0<br>
&gt;<br>
&gt; testing wandk0 on /dev/drbd1<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 8.00925 s, 67.0 MB/s<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 1.72338 s, 312 MB/s<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 1.84181 s, 291 MB/s<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 1.66079 s, 323 MB/s<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 1.69359 s, 317 MB/s<br>
&gt;<br>
&gt; testing wandk0 on backing device:/dev/centos/wandk0<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 0.504366 s, 1.1 GB/s<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 0.550144 s, 976 MB/s<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 0.502675 s, 1.1 GB/s<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 0.473032 s, 1.1 GB/s<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 0.470139 s, 1.1 GB/s<br>
&gt;<br>
&gt; [root@vmA ~]#<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; R3:<br>
&gt;<br>
&gt; [root@vmC ~]# iperf3 -s -p 5900<br>
&gt;<br>
&gt; warning: this system does not seem to support IPv6 - trying IPv4<br>
&gt;<br>
&gt; -----------------------------------------------------------<br>
&gt;<br>
&gt; Server listening on 5900<br>
&gt;<br>
&gt; -----------------------------------------------------------<br>
&gt;<br>
&gt; Accepted connection from 10.65.184.1(vmA), port 56750<br>
&gt;<br>
&gt; [  5] local 10.64.5.245 port 5900 connected to 10.65.184.1 port 56754<br>
&gt;<br>
&gt; [ ID] Interval           Transfer     Bandwidth<br>
&gt;<br>
&gt; [  5]   0.00-1.00   sec  73.9 MBytes   620 Mbits/sec<br>
&gt;<br>
&gt; [  5]   1.00-2.00   sec   100 MBytes   842 Mbits/sec<br>
&gt;<br>
&gt; [  5]   2.00-3.00   sec   107 MBytes   895 Mbits/sec<br>
&gt;<br>
&gt; [  5]   3.00-4.00   sec   113 MBytes   947 Mbits/sec<br>
&gt;<br>
&gt; [  5]   4.00-5.00   sec   117 MBytes   984 Mbits/sec<br>
&gt;<br>
&gt; [  5]   5.00-6.00   sec   120 MBytes  1.01 Gbits/sec<br>
&gt;<br>
&gt; [  5]   6.00-7.00   sec   123 MBytes  1.03 Gbits/sec<br>
&gt;<br>
&gt; [  5]   7.00-8.00   sec   124 MBytes  1.04 Gbits/sec<br>
&gt;<br>
&gt; [  5]   8.00-9.00   sec   124 MBytes  1.04 Gbits/sec<br>
&gt;<br>
&gt; [  5]   9.00-10.00  sec   125 MBytes  1.04 Gbits/sec<br>
&gt;<br>
&gt; [  5]  10.00-10.04  sec  5.25 MBytes  1.25 Gbits/sec<br>
&gt;<br>
&gt; - - - - - - - - - - - - - - - - - - - - - - - - -<br>
&gt;<br>
&gt; [ ID] Interval           Transfer     Bandwidth<br>
&gt;<br>
&gt; [  5]   0.00-10.04  sec  0.00 Bytes  0.00 bits/sec                  sender<br>
&gt;<br>
&gt; [  5]   0.00-10.04  sec  1.11 GBytes   947 Mbits/sec                  receiver<br>
&gt;<br>
&gt; -----------------------------------------------------------<br>
&gt;<br>
&gt; Server listening on 5900<br>
&gt;<br>
&gt; -----------------------------------------------------------<br>
&gt;<br>
&gt; ^Ciperf3: interrupt - the server has terminated<br>
&gt;<br>
&gt; [root@vmC ~]# date<br>
&gt;<br>
&gt; Wed Jun 29 12:26:37 EDT 2016<br>
&gt;<br>
&gt; [root@vmC ~]#<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; R4: only getting 35MB/s when cross WAN network.<br>
&gt;<br>
&gt; [root@vmA ~]# ./scratch-test.bash wandk0 # from R1<br>
&gt;<br>
&gt; 1: cs:Connected ro:Secondary/Secondary ds:UpToDate/UpToDate C r-----<br>
&gt;<br>
&gt; Writing via wandk0 on /dev/drbd1<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 15.1859 s, 35.4 MB/s<br>
&gt;<br>
&gt; &lt;snipped&gt;<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 15.598 s, 34.4 MB/s<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 16.9145 s, 31.7 MB/s<br>
&gt;<br>
&gt; Writing directly into backing device:/dev/centos/wandk0<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 0.625202 s, 859 MB/s<br>
&gt;<br>
&gt; &lt;snipped&gt;<br>
&gt;<br>
&gt; 1+0 records in<br>
&gt;<br>
&gt; 1+0 records out<br>
&gt;<br>
&gt; 536870912 bytes (537 MB) copied, 0.566128 s, 948 MB/s<br>
&gt;<br>
&gt; [root@vmA ~]# date<br>
&gt;<br>
&gt; Thu Jun 30 13:07:16 EDT 2016<br>
&gt;<br>
&gt; [root@vmA ~]#<br>
&gt;<br>
&gt;<br>
&gt;<br>
&gt; -- <br>
&gt; T.J. Yang<br>
&gt;<br></div></div>
&gt; _______________________________________________<br>
&gt; drbd-user mailing list<br>
&gt; <a href="mailto:drbd-user@lists.linbit.com" target="_blank">drbd-user@lists.linbit.com</a><br>
&gt; <a href="http://lists.linbit.com/mailman/listinfo/drbd-user" target="_blank">http://lists.linbit.com/mailman/listinfo/drbd-user</a><br>
&gt;<br>
<p></p>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="gmail_signature" data-smartmail="gmail_signature">T.J. Yang</div>
</div>