<br><font size=2 face="sans-serif">Have a look at the net parameters. Autotuning
does not seem to do a good job at high speeds. We had verifies starving
the system to death with 2 10 Gbit cards with 300M syncer. This was a active-passive
setup, but the problem might be the same. Try send and recieve buffers
at 10MB, &nbsp;max buffers 128k (maximum value), adaptive syncer settings
(introduced in 8.3.10). We are now getting 550 Mb/s even during a ongoing
verify.<br>
</font><font size=3 color=#5f5f5f>Mit freundlichen Grüßen / Best Regards<br>
<br>
Robert Köppl<br>
<br>
Systemadministration<br>
<b><br>
KNAPP Systemintegration GmbH</b><br>
Waltenbachstraße 9<br>
8700 Leoben, Austria <br>
Phone: +43 3842 805-910<br>
Fax: +43 3842 82930-500<br>
robert.koeppl@knapp.com <br>
www.KNAPP.com <br>
<br>
Commercial register number: FN 138870x<br>
Commercial register court: Leoben</font><font size=3><br>
</font><font size=3 color=#d2d2d2><br>
The information in this e-mail (including any attachment) is confidential
and intended to be for the use of the addressee(s) only. If you have received
the e-mail by mistake, any disclosure, copy, distribution or use of the
contents of the e-mail is prohibited, and you must delete the e-mail from
your system. As e-mail can be changed electronically KNAPP assumes no responsibility
for any alteration to this e-mail or its attachments. KNAPP has taken every
reasonable precaution to ensure that any attachment to this e-mail has
been swept for virus. However, KNAPP does not accept any liability for
damage sustained as a result of such attachment being virus infected and
strongly recommend that you carry out your own virus check before opening
any attachment.</font>
<br>
<br>
<br>
<table width=100%>
<tr valign=top>
<td width=40%><font size=1 face="sans-serif"><b>Christophe Bouder &lt;Christophe.Bouder@lip6.fr&gt;</b>
</font>
<br><font size=1 face="sans-serif">Gesendet von: drbd-user-bounces@lists.linbit.com</font>
<p><font size=1 face="sans-serif">07.09.2011 16:15</font>
<table border>
<tr valign=top>
<td bgcolor=white>
<div align=center><font size=1 face="sans-serif">Bitte antworten an<br>
Christophe.Bouder@lip6.fr</font></div></table>
<br>
<td width=59%>
<table width=100%>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">An</font></div>
<td><font size=1 face="sans-serif">dsu@hemlock.com</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Kopie</font></div>
<td><font size=1 face="sans-serif">drbd-user@lists.linbit.com</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Thema</font></div>
<td><font size=1 face="sans-serif">Re: [DRBD-user] slow to stall when sync
kicks in</font></table>
<br>
<table>
<tr valign=top>
<td>
<td></table>
<br></table>
<br>
<br>
<div>
<br><font size=3>Hi,<br>
We have exactly the same problem with large files copy.<br>
We're running on Debian 64 bit, with kernel 3.0.3, drbd 8.3.11 and ocfs2
filesystem. We dedicated 2 10G ports to drbd.<br>
Are you still encountering the same problem? Did you get some solutions
from drbd team? Did you find some tricks on your own?<br>
<br>
Thanks in advance,<br>
</font>
<br><font size=3><br>
Le 16/08/2011 01:24, Dennis Su a écrit : </font>
<br><font size=2 face="Arial">Hi,</font>
<br><font size=3>&nbsp;</font>
<br><font size=2 face="Arial">We have two servers built, different hardware
and capacity, on 64 bit centos 5.6 with drbd 8.3.8, the backing devices
are gfs2 devices layer on top of LVM, because different capacity on both
nodes and that limits our ability to play with the barriers effectively.
The server has two Gb ports, one connect to the network and the other connected
with a crossover cable for dedicated drbd sync. We are running a number
of tests to see how well they perform before putting into production. During
the weeks long testing, one thing doesn't seem right and we've tried to
play with the config to tweak it, but not gaining anything, so we go back
to default for most settings as shown in the drbd show below. </font>
<br><font size=2 face="Arial">It is a duo primary setup on a 10TB device.
The sync/resync operations between nodes, without other activities on the
drbd devices, is 63MB (sustained) on both way. However, adding the write
to either node during the sync can cause the both write and sync speed
to drop to 2KB. The situation can happen on any new write operation as
well, initially the writing, first 10 seconds, are at the expected speed,
then drbd sync kicks in, can see it from the /proc/drbd, it slows to almost
stall, once the sync stopped, observed from from both ifstat and /proc/drbd,
the writing to the node resume to expected speed, but once the sync start
again the writing slows down. The pattern repeats until the entire write
operation is complete. We have tested with small size files, the effect
is minimum so no problems in there, but we intent to use these serves to
store large files, which can be few GByte each. Initially, we though that
high IO might be the culprit, then we took drbd out of the picture and
just runs simultaneous read and write tests and they were fine with large
and small files. Now we think that drbd might need to locked the file to
perform the sync, during locked time the continues write stream on the
file is not permitted, then once the sync is done drbd releases it for
writing again. Then we tried tweaking the buffer and bio, no help. Of course,
this just a guess, but if it is true, is that any ways to tweak drbd to
perform better with big files.</font>
<br><font size=2 face="Arial">We also tried swapping a cross over with
a straight cable no improvements, </font>
<br><font size=3>&nbsp;</font>
<br><font size=2 face="Arial">Thanks in advance,</font>
<br><font size=2 face="Arial">Dennis</font>
<br><font size=2 face="Arial">###################drbdsetup /dev/drbd0 show
##############</font>
<br><font size=2 face="Arial">disk {<br>
 &nbsp; &nbsp; &nbsp; &nbsp;size &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;0s _is_default; # bytes<br>
 &nbsp; &nbsp; &nbsp; &nbsp;on-io-error &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; detach;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;fencing &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; dont-care _is_default;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;max-bio-bvecs &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
0 _is_default;<br>
}<br>
net {<br>
 &nbsp; &nbsp; &nbsp; &nbsp;timeout &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; 60 _is_default; # 1/10 seconds<br>
 &nbsp; &nbsp; &nbsp; &nbsp;max-epoch-size &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp;2048 _is_default;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;max-buffers &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; 2048 _is_default;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;unplug-watermark &nbsp; &nbsp; &nbsp; &nbsp;256;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;connect-int &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; 10 _is_default; # seconds<br>
 &nbsp; &nbsp; &nbsp; &nbsp;ping-int &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp;10 _is_default; # seconds<br>
 &nbsp; &nbsp; &nbsp; &nbsp;sndbuf-size &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; 0 _is_default; # bytes<br>
 &nbsp; &nbsp; &nbsp; &nbsp;rcvbuf-size &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; 0 _is_default; # bytes<br>
 &nbsp; &nbsp; &nbsp; &nbsp;ko-count &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp;0 _is_default;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;allow-two-primaries;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;cram-hmac-alg &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&quot;sha1&quot;;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;shared-secret &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&quot;</font><a href=mailto:U$eP@sswd><font size=2 color=blue face="Arial"><u>U$eP@sswd</u></font></a><font size=2 face="Arial">&quot;;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;after-sb-0pri &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
discard-zero-changes;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;after-sb-1pri &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
discard-secondary;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;after-sb-2pri &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
disconnect _is_default;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;rr-conflict &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; disconnect _is_default;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;ping-timeout &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp;5 _is_default; # 1/10 seconds<br>
}<br>
syncer {<br>
 &nbsp; &nbsp; &nbsp; &nbsp;rate &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;112640k; # bytes/second<br>
 &nbsp; &nbsp; &nbsp; &nbsp;after &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; -1 _is_default;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;al-extents &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp;257;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;delay-probe-volume &nbsp; &nbsp; &nbsp;16384k
_is_default; # bytes<br>
 &nbsp; &nbsp; &nbsp; &nbsp;delay-probe-interval &nbsp; &nbsp;5 _is_default;
# 1/10 seconds<br>
 &nbsp; &nbsp; &nbsp; &nbsp;throttle-threshold &nbsp; &nbsp; &nbsp;20 _is_default;
# 1/10 seconds<br>
 &nbsp; &nbsp; &nbsp; &nbsp;hold-off-threshold &nbsp; &nbsp; &nbsp;100
_is_default; # 1/10 seconds<br>
}<br>
protocol C;<br>
_this_host {<br>
 &nbsp; &nbsp; &nbsp; &nbsp;device &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp;minor 0;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;disk &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; &nbsp;&quot;/dev/mapper/vg0-r0&quot;;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;meta-disk &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; internal;<br>
 &nbsp; &nbsp; &nbsp; &nbsp;address &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; ipv4 10.1.1.35:7788;<br>
}<br>
_remote_host {<br>
 &nbsp; &nbsp; &nbsp; &nbsp;address &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
&nbsp; &nbsp; &nbsp; ipv4 10.1.1.29:7788;<br>
}<br>
##############################</font>
<p><font size=2 color=blue face="Tahoma">Hemlock Printers, Ltd.<br>
(604) 439-5075</font>
<p><a href=#></a>
<br><tt><font size=3><br>
<br>
_______________________________________________<br>
drbd-user mailing list<br>
</font></tt><a href="mailto:drbd-user@lists.linbit.com"><tt><font size=3 color=blue><u>drbd-user@lists.linbit.com</u></font></tt></a><tt><font size=3><br>
</font></tt><a href="http://lists.linbit.com/mailman/listinfo/drbd-user"><tt><font size=3 color=blue><u>http://lists.linbit.com/mailman/listinfo/drbd-user</u></font></tt></a><tt><font size=3><br>
</font></tt>
<br><font size=3><br>
</font>
<br><tt><font size=3>-- <br>
Christophe Bouder,<br>
<br>
</font></tt><tt><font size=2>_______________________________________________<br>
drbd-user mailing list<br>
drbd-user@lists.linbit.com<br>
http://lists.linbit.com/mailman/listinfo/drbd-user<br>
</font></tt>
<br></div>