<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META content="text/html; charset=us-ascii" http-equiv=Content-Type>
<META name=GENERATOR content="MSHTML 8.00.6001.19120"></HEAD>
<BODY>
<DIV><SPAN class=087551922-15082011><FONT size=2 
face=Arial>Hi,</FONT></SPAN></DIV>
<DIV><SPAN class=087551922-15082011><FONT size=2 
face=Arial></FONT></SPAN>&nbsp;</DIV>
<DIV><SPAN class=087551922-15082011><FONT size=2 face=Arial>We have two servers 
built, different hardware and capacity, on 64 bit centos 5.6 with drbd 8.3.8, 
the backing devices are gfs2 devices layer on top of LVM, because different 
capacity on both nodes and that limits our ability to play with the barriers 
effectively. The server has two Gb ports, one connect to the network and the 
other connected with a crossover cable for dedicated drbd sync. We are running a 
number of tests to see how well they perform before putting into production. 
During the weeks long testing, one thing doesn't seem right and we've tried to 
play with the config to tweak it, but not gaining anything, so we go back to 
default for most settings as shown in the drbd show below. </FONT></SPAN></DIV>
<DIV><SPAN class=087551922-15082011><FONT size=2 face=Arial>It is a duo primary 
setup on a 10TB device. The sync/resync operations between nodes, without other 
activities on the drbd devices, is 63MB (sustained) on both way. However, adding 
the write to either node during the sync can cause the both write and sync speed 
to drop to 2KB. The situation can happen on any new write operation as 
well,&nbsp;initially the&nbsp;writing, first 10 seconds,&nbsp;are&nbsp;at the 
expected speed, then&nbsp;drbd sync kicks in, can see it from the /proc/drbd, it 
slows to almost stall, once the sync stopped, observed from from both ifstat and 
/proc/drbd, the writing to the node resume to expected speed, but once the sync 
start again the writing slows down.&nbsp;The pattern repeats until the entire 
write operation is complete. We have tested with small size files, the effect is 
minimum so no problems in there, but we intent to use these serves to store 
large files, which can be few GByte each.&nbsp;Initially, we though 
that&nbsp;high IO might be the culprit, then we took drbd out of the picture and 
just runs simultaneous read and write tests and they were fine with large and 
small&nbsp;files. Now we think that drbd might need to locked the file to 
perform the sync,&nbsp;during locked time the continues write stream on 
the&nbsp;file is not permitted,&nbsp;then once the sync is done drbd releases it 
for writing again. Then we tried tweaking the buffer and bio, no help. Of 
course, this just a guess,&nbsp;but if it is true, is that any ways to tweak 
drbd to perform better with big files.</FONT></SPAN></DIV>
<DIV><SPAN class=087551922-15082011><FONT size=2 face=Arial>We also tried 
swapping a cross over with a straight cable no improvements, 
</FONT></SPAN></DIV>
<DIV><SPAN class=087551922-15082011><FONT size=2 
face=Arial></FONT></SPAN>&nbsp;</DIV>
<DIV><SPAN class=087551922-15082011><FONT size=2 face=Arial>Thanks in 
advance,</FONT></SPAN></DIV>
<DIV><SPAN class=087551922-15082011><FONT size=2 
face=Arial>Dennis</FONT></SPAN></DIV>
<DIV><SPAN class=087551922-15082011><FONT size=2 
face=Arial>###################drbdsetup /dev/drbd0 show 
##############</FONT></SPAN></DIV>
<DIV><SPAN class=087551922-15082011><FONT size=2 face=Arial>disk 
{<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0s _is_default; # bytes<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
on-io-error&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
detach;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
fencing&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
dont-care _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
max-bio-bvecs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 
_is_default;<BR>}<BR>net {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
timeout&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
60 _is_default; # 1/10 seconds<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
max-epoch-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2048 
_is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
max-buffers&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
2048 _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
unplug-watermark&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
256;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
connect-int&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
10 _is_default; # seconds<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
ping-int&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
10 _is_default; # seconds<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
sndbuf-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0 _is_default; # bytes<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
rcvbuf-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0 _is_default; # bytes<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
ko-count&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
0 _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
allow-two-primaries;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
cram-hmac-alg&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
"sha1";<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
shared-secret&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; "<A 
href="mailto:U$eP@sswd">U$eP@sswd</A>";<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
after-sb-0pri&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
discard-zero-changes;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
after-sb-1pri&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
discard-secondary;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
after-sb-2pri&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
disconnect _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
rr-conflict&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
disconnect _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
ping-timeout&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 
_is_default; # 1/10 seconds<BR>}<BR>syncer 
{<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
rate&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
112640k; # bytes/second<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
after&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
-1 _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
al-extents&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
257;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
delay-probe-volume&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16384k _is_default; # 
bytes<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
delay-probe-interval&nbsp;&nbsp;&nbsp; 5 _is_default; # 1/10 
seconds<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
throttle-threshold&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20 _is_default; # 1/10 
seconds<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
hold-off-threshold&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 100 _is_default; # 1/10 
seconds<BR>}<BR>protocol C;<BR>_this_host 
{<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
minor 0;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
"/dev/mapper/vg0-r0";<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
meta-disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
internal;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
ipv4 10.1.1.35:7788;<BR>}<BR>_remote_host 
{<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
ipv4 
10.1.1.29:7788;<BR>}<BR>##############################</FONT></SPAN></DIV><P><FONT color=#0000ff size=2 face=Tahoma>Hemlock Printers, Ltd.<BR>(604) 439-5075</FONT></P><A title="gfidisc.c8ee20078354b54fb5fd4f35cb32bcdd" href="#">  </A></BODY></HTML>