# /etc/drbd.conf<br>common {<br>&nbsp;&nbsp;&nbsp; protocol&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; C;<br>&nbsp;&nbsp;&nbsp; syncer {<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rate&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 33M;<br>&nbsp;&nbsp;&nbsp; }<br>}<br><br>resource xendrive {<br>&nbsp;&nbsp;&nbsp; on cluster1.local {<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/drbd0;<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/sda3;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <a href="http://10.10.10.1:7788/" target="_blank">10.10.10.1:7788</a>;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; meta-disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; internal;<br>&nbsp;&nbsp;&nbsp; }<br>&nbsp;&nbsp;&nbsp; on cluster2.local {<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/drbd0;<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/sda3;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <a href="http://10.10.10.2:7788/" target="_blank">10.10.10.2:7788</a>;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; meta-disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; internal;<br>&nbsp;&nbsp;&nbsp; }<br>&nbsp;&nbsp;&nbsp; net {<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sndbuf-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 137k;<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; timeout&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 50;<br>
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; allow-two-primaries;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; cram-hmac-alg&nbsp;&nbsp;&nbsp; sha1;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; shared-secret&nbsp;&nbsp;&nbsp; TeleWebDrbdCluster2008;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; after-sb-0pri&nbsp;&nbsp;&nbsp; discard-zero-changes;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; after-sb-1pri&nbsp;&nbsp;&nbsp; discard-secondary;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; after-sb-2pri&nbsp;&nbsp;&nbsp; call-pri-lost-after-sb;<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rr-conflict&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disconnect;<br>&nbsp;&nbsp;&nbsp; }<br>&nbsp;&nbsp;&nbsp; disk {<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; on-io-error&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; call-local-io-error;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; fencing&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; resource-and-stonith;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; no-disk-flushes;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; no-md-flushes;<br>&nbsp;&nbsp;&nbsp; }<br>

&nbsp;&nbsp;&nbsp; syncer {<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; al-extents&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3833;<br>&nbsp;&nbsp;&nbsp; }<br>&nbsp;&nbsp;&nbsp; startup {<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; wfc-timeout&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 0;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; degr-wfc-timeout&nbsp; 10;<br>&nbsp;&nbsp;&nbsp; }<br>&nbsp;&nbsp;&nbsp; handlers {<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; local-io-error&nbsp;&nbsp; &quot;echo BAD&nbsp; | mail -s &#39;DRBD Alert Local-io-error&#39; root&quot;;<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; outdate-peer&nbsp;&nbsp;&nbsp;&nbsp; /usr/local/sbin/obliterate;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; split-brain&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &quot;echo split-brain. drbdadm -- --discard-my-data connect $DRBD_RESOURCE ? | mail -s &#39;DRBD Alert&#39; root&quot;;<br><br><div class="gmail_quote">
On Sun, Jun 22, 2008 at 9:17 AM, Marcelo Azevedo &lt;<a href="mailto:marzevd@gmail.com">marzevd@gmail.com</a>&gt; wrote:<br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
drbd ver : version: 8.2.6 (api:88/proto:86-88)<br><br>Tests performed: <br>ipref shows 125MB/s~&nbsp; , pureftpd also shows 125MB/s~<br><br>physical -&gt; drbd :&nbsp; full 4GB resync = 105MB/s~&nbsp; &nbsp; which also equals to&nbsp; , physical -&gt; drbd -&gt; ext3 , in cs=standalone/WFconnection mode = 105MB/s~<br>

<br>standalone/WFconnection test was done using,&nbsp; dd and bonnie++ , bonnie++ shows about 10MB/s less write performence (more rigorous test):<br>------------------------------------------------------------------------------------------------------------------<br>

time dd if=/dev/zero of=./testfile bs=16384 count=500000&nbsp;&nbsp; <br>500000+0 records in<br>500000+0 records out<br>8192000000 bytes (8.2 GB) copied, 78.5591 seconds, 104 MB/s<br><br>real&nbsp;&nbsp;&nbsp; 1m18.971s<br>user&nbsp;&nbsp;&nbsp; 0m0.376s<br>sys&nbsp;&nbsp;&nbsp;&nbsp; 0m32.726s<br>

<br>bonnie++ -u 0 -n 0 -s 7180 -f -b -d ./<br>Using uid:0, gid:0.<br>Writing intelligently...done<br>Rewriting...done<br>Reading intelligently...done<br>start &#39;em...done...done...done...<br>Version&nbsp; 1.03&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ------Sequential Output------ --Sequential Input- --Random-<br>

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--<br>Machine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP&nbsp; /sec %CP<br>cluster2.loca 7180M&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 89458&nbsp; 46 61011&nbsp; 29&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 157652&nbsp; 15 658.3&nbsp;&nbsp; 0<br>

cluster2.local,7180M,,,89458,46,61011,29,,,157652,15,658.3,0,,,,,,,,,,,,,<br><br>89MB/s~ write,&nbsp; 157MB/s~ read<br><br>------------------------------------------------------------------------------------------------------------------<br>

***** Now the bottleneck is when in **** primary/primary , or primary/secondary *** :<br>-------------------------------------------------------------------------------------------------------------------<br><br>time dd if=/dev/zero of=./testfile bs=16384 count=500000&nbsp;&nbsp; <br>

500000+0 records in<br>500000+0 records out<br>8192000000 bytes (8.2 GB) copied, 100.704 seconds, 81.3 MB/s<br><br>bonnie++ -u 0 -n 0 -s 7180 -f -b -d ./<br><br>Using uid:0, gid:0.<br>Writing intelligently...done<br>Rewriting...done<br>

Reading intelligently...done<br>start &#39;em...done...done...done...<br>Version&nbsp; 1.03&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; ------Sequential Output------ --Sequential Input- --Random-<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--<br>

Machine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP&nbsp; /sec %CP<br>cluster1.loca 7180M&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 54283&nbsp; 17 59925&nbsp; 20&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 158998&nbsp; 15 583.0&nbsp;&nbsp; 0<br>cluster1.local,7180M,,,54283,17,59925,20,,,158998,15,583.0,0,,,,,,,,,,,,,<br>

<br>55MB/s~ write / 159MB/s~ read<br>-----------------------------------------------------------------------------------------------------------------------------------------<br>why the 30-40MB/s difference , compared to resync or standalone/WFconnection mode speed? <br>

<br>what operations in normal I/O activity can affect performance VS drbd resync operation? and how can i fix them ?<br>if resync is done via the network and it operates at speeds equal to standalone mode , what could hinder performance in normal primary/secondary , primary/primary mode like this?<br>

<br>btw - I have no-md-flushes and no-disk-flushes options on, since without that i am lucky to even get more than 10MB/s write speed , but you probably know about that...<br><br>All the best , Marcelo.<br>
</blockquote></div><br>