
<HTML dir=ltr><HEAD><TITLE>[DRBD-user] Slower disk throughput on DRBD partition</TITLE>

<META content="text/html; charset=unicode" http-equiv=Content-Type>

<META name=GENERATOR content="MSHTML 9.00.8112.16440"></HEAD>

<BODY>

<DIV dir=ltr id=idOWAReplyText85610>

<DIV dir=ltr><FONT size=2 face="Courier New">Hi Everyone,</FONT></DIV>

<DIV dir=ltr><FONT size=2 face="Courier New"></FONT>&nbsp;</DIV>

<DIV dir=ltr><FONT size=2 face="Courier New">I have a DRBD performance problem that has got me completely confused.&nbsp; I hoping that someone can help with this one as my other servers that use the same type of RAID cards and DRBD don't have this problem.</FONT></DIV>

<DIV dir=ltr><FONT size=2 face="Courier New"></FONT>&nbsp;</DIV>

<DIV dir=ltr><FONT face="Courier New"><FONT size=2>For the hardware, I have two Dell R515 servers with the H700 card, basically an LSI Megaraid based card, and running SLES 11 SP1.&nbsp; </FONT><FONT size=2>This problem shows up on drbd 8.3.11, 8.3.12, and 8.4.1 but I haven't tested other versions.</FONT></FONT></DIV>

<DIV dir=ltr><FONT size=2 face="Courier New"></FONT>&nbsp;</DIV>

<DIV dir=ltr><FONT size=2 face="Courier New">here is the simple config I made based on the servers that don't have any issues:</FONT></DIV>

<DIV dir=ltr><FONT size=2 face="Courier New"></FONT>&nbsp;</DIV>

<DIV dir=ltr><FONT face="Courier New">global {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; # We don't want to be bother by the usage count numbers<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; usage-count no;<BR>}</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">common {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; protocol C;</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; net {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; cram-hmac-alg&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; md5;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; shared-secret&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; "P4ss";<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }<BR>}</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">resource r0 {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; on san1 {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/drbd0;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/disk/by-id/scsi-36782bcb0698b6300167badae13f2884d-part2;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10.60.60.1:63000;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; flexible-meta-disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/disk/by-id/scsi-36782bcb0698b6300167badae13f2884d-part1;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; on san2 {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/drbd0;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/disk/by-id/scsi-36782bcb0698b6e00167bb1d107a77a47-part2;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 10.60.60.2:63000;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; flexible-meta-disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/disk/by-id/scsi-36782bcb0698b6e00167bb1d107a77a47-part1;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; startup {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; wfc-timeout&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; syncer {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rate&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 50M;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; cpu-mask&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 4;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disk {<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; on-io-error&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; detach;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; no-disk-barrier;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; no-disk-flushes;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; no-disk-drain;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; no-md-flushes;<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }<BR>}</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New"></FONT>&nbsp;</DIV>

<DIV dir=ltr><FONT face="Courier New">version: 8.3.11 (api:88/proto:86-96)<BR>GIT-hash: 0de839cee13a4160eed6037c4bddd066645e23c5 build by </FONT><A href="mailto:phil@fat-tyre"><FONT face="Courier New">phil@fat-tyre</FONT></A><FONT face="Courier New">, 2011-06-29 11:37:11<BR>&nbsp;0: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r----s<BR>&nbsp;&nbsp;&nbsp; ns:0 nr:0 dw:8501248 dr:551 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:n oos:3397375600</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New"></FONT>&nbsp;</DIV>

<DIV dir=ltr><FONT face="Courier New">So, when I'm running just with one server and no replication the performance hit with DRBD is huge.&nbsp; The backing device shows a throughput of:</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">----</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">san1:~ # dd if=/dev/zero of=/dev/disk/by-id/scsi-36782bcb0698b6300167badae13f2884d-part2 bs=1M count=16384<BR>16384+0 records in<BR>16384+0 records out<BR>17179869184 bytes (17 GB) copied, 16.4434 s, 1.0 GB/s</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">----</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">san1:~ # dd if=/dev/zero of=/dev/drbd/by-res/r0 bs=1M count=16384<BR>16384+0 records in<BR>16384+0 records out<BR>17179869184 bytes (17 GB) copied, 93.457 s, 184 MB/s</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">-------</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New"></FONT>&nbsp;</DIV>

<DIV dir=ltr><FONT face="Courier New">using iostat I see part of the problem:</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New"></FONT>&nbsp;</DIV>

<DIV dir=ltr><FONT face="Courier New">avg-cpu:&nbsp; %user&nbsp;&nbsp; %nice %system %iowait&nbsp; %steal&nbsp;&nbsp; %idle<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.08&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 16.76&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 83.17</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">Device:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tps&nbsp;&nbsp;&nbsp; MB_read/s&nbsp;&nbsp;&nbsp; MB_wrtn/s&nbsp;&nbsp;&nbsp; MB_read&nbsp;&nbsp;&nbsp; MB_wrtn<BR>sda&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<BR>sdb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 20565.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 360.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 719<BR>drbd0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 737449.50&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 360.08&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 720</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">avg-cpu:&nbsp; %user&nbsp;&nbsp; %nice %system %iowait&nbsp; %steal&nbsp;&nbsp; %idle<BR>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.07&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 28.87&nbsp;&nbsp;&nbsp; 1.37&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp; 69.69</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New">Device:&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; tps&nbsp;&nbsp;&nbsp; MB_read/s&nbsp;&nbsp;&nbsp; MB_wrtn/s&nbsp;&nbsp;&nbsp; MB_read&nbsp;&nbsp;&nbsp; MB_wrtn<BR>sda&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.50&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.01&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0<BR>sdb&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 57859.50&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 177.22&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 354<BR>drbd0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 362787.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0.00&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 177.14&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 354</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New"></FONT>&nbsp;</DIV>

<DIV dir=ltr><FONT face="Courier New">the drbd device is showing a TPS about 10x - 20x of the backing store.&nbsp; When I do this on my other servers I don't see anything like it.&nbsp; The working servers are also running the same kernel and drbd versions.&nbsp;</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New"></FONT>&nbsp;</DIV>

<DIV dir=ltr><FONT face="Courier New">Does anyone have any ideas of how this might be resolved or fixed?&nbsp; I'm at a loss right now.</FONT></DIV>

<DIV dir=ltr><FONT face="Courier New"></FONT>&nbsp;</DIV></DIV></BODY></HTML>