
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">

<HTML><HEAD>

<META content="text/html; charset=us-ascii" http-equiv=Content-Type>

<META name=GENERATOR content="MSHTML 8.00.6001.19120"></HEAD>

<BODY>

<DIV><SPAN class=087551922-15082011><FONT size=2 

face=Arial>Hi,</FONT></SPAN></DIV>

<DIV><SPAN class=087551922-15082011><FONT size=2 

face=Arial></FONT></SPAN>&nbsp;</DIV>

<DIV><SPAN class=087551922-15082011><FONT size=2 face=Arial>We have two servers 

built, different hardware and capacity, on 64 bit centos 5.6 with drbd 8.3.8, 

the backing devices are gfs2 devices layer on top of LVM, because different 

capacity on both nodes and that limits our ability to play with the barriers 

effectively. The server has two Gb ports, one connect to the network and the 

other connected with a crossover cable for dedicated drbd sync. We are running a 

number of tests to see how well they perform before putting into production. 

During the weeks long testing, one thing doesn't seem right and we've tried to 

play with the config to tweak it, but not gaining anything, so we go back to 

default for most settings as shown in the drbd show below. </FONT></SPAN></DIV>

<DIV><SPAN class=087551922-15082011><FONT size=2 face=Arial>It is a duo primary 

setup on a 10TB device. The sync/resync operations between nodes, without other 

activities on the drbd devices, is 63MB (sustained) on both way. However, adding 

the write to either node during the sync can cause the both write and sync speed 

to drop to 2KB. The situation can happen on any new write operation as 

well,&nbsp;initially the&nbsp;writing, first 10 seconds,&nbsp;are&nbsp;at the 

expected speed, then&nbsp;drbd sync kicks in, can see it from the /proc/drbd, it 

slows to almost stall, once the sync stopped, observed from from both ifstat and 

/proc/drbd, the writing to the node resume to expected speed, but once the sync 

start again the writing slows down.&nbsp;The pattern repeats until the entire 

write operation is complete. We have tested with small size files, the effect is 

minimum so no problems in there, but we intent to use these serves to store 

large files, which can be few GByte each.&nbsp;Initially, we though 

that&nbsp;high IO might be the culprit, then we took drbd out of the picture and 

just runs simultaneous read and write tests and they were fine with large and 

small&nbsp;files. Now we think that drbd might need to locked the file to 

perform the sync,&nbsp;during locked time the continues write stream on 

the&nbsp;file is not permitted,&nbsp;then once the sync is done drbd releases it 

for writing again. Then we tried tweaking the buffer and bio, no help. Of 

course, this just a guess,&nbsp;but if it is true, is that any ways to tweak 

drbd to perform better with big files.</FONT></SPAN></DIV>

<DIV><SPAN class=087551922-15082011><FONT size=2 face=Arial>We also tried 

swapping a cross over with a straight cable no improvements, 

</FONT></SPAN></DIV>

<DIV><SPAN class=087551922-15082011><FONT size=2 

face=Arial></FONT></SPAN>&nbsp;</DIV>

<DIV><SPAN class=087551922-15082011><FONT size=2 face=Arial>Thanks in 

advance,</FONT></SPAN></DIV>

<DIV><SPAN class=087551922-15082011><FONT size=2 

face=Arial>Dennis</FONT></SPAN></DIV>

<DIV><SPAN class=087551922-15082011><FONT size=2 

face=Arial>###################drbdsetup /dev/drbd0 show 

##############</FONT></SPAN></DIV>

<DIV><SPAN class=087551922-15082011><FONT size=2 face=Arial>disk 

{<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

0s _is_default; # bytes<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

on-io-error&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

detach;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

fencing&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

dont-care _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

max-bio-bvecs&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0 

_is_default;<BR>}<BR>net {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

timeout&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

60 _is_default; # 1/10 seconds<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

max-epoch-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2048 

_is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

max-buffers&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

2048 _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

unplug-watermark&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

256;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

connect-int&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

10 _is_default; # seconds<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

ping-int&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

10 _is_default; # seconds<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

sndbuf-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

0 _is_default; # bytes<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

rcvbuf-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

0 _is_default; # bytes<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

ko-count&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

0 _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

allow-two-primaries;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

cram-hmac-alg&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

"sha1";<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

shared-secret&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; "<A 

href="mailto:U$eP@sswd">U$eP@sswd</A>";<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

after-sb-0pri&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

discard-zero-changes;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

after-sb-1pri&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

discard-secondary;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

after-sb-2pri&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

disconnect _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

rr-conflict&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

disconnect _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

ping-timeout&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5 

_is_default; # 1/10 seconds<BR>}<BR>syncer 

{<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

rate&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

112640k; # bytes/second<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

after&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

-1 _is_default;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

al-extents&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

257;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

delay-probe-volume&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16384k _is_default; # 

bytes<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

delay-probe-interval&nbsp;&nbsp;&nbsp; 5 _is_default; # 1/10 

seconds<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

throttle-threshold&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20 _is_default; # 1/10 

seconds<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

hold-off-threshold&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 100 _is_default; # 1/10 

seconds<BR>}<BR>protocol C;<BR>_this_host 

{<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

minor 0;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

"/dev/mapper/vg0-r0";<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

meta-disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

internal;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

ipv4 10.1.1.35:7788;<BR>}<BR>_remote_host 

{<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 

ipv4 

10.1.1.29:7788;<BR>}<BR>##############################</FONT></SPAN></DIV><P><FONT color=#0000ff size=2 face=Tahoma>Hemlock Printers, Ltd.<BR>(604) 439-5075</FONT></P><A title="gfidisc.c8ee20078354b54fb5fd4f35cb32bcdd" href="#">  </A></BODY></HTML>