<br><font size=2 face="sans-serif">Thanks a lot, that solved the problem.</font>
<br><font size=2 face="sans-serif">Mit freundlichen Grüßen / Best regards,<br>
 <br>
Robert Köppl<br>
System Administration<br>
</font>
<br>
<br>
<br>
<table width=100%>
<tr valign=top>
<td width=40%><font size=1 face="sans-serif"><b>Lars Ellenberg &lt;lars.ellenberg@linbit.com&gt;</b>
</font>
<br><font size=1 face="sans-serif">Gesendet von: drbd-user-bounces@lists.linbit.com</font>
<p><font size=1 face="sans-serif">17.07.2009 11:11</font>
<td width=59%>
<table width=100%>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">An</font></div>
<td><font size=1 face="sans-serif">drbd-user@lists.linbit.com</font>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Kopie</font></div>
<td>
<tr valign=top>
<td>
<div align=right><font size=1 face="sans-serif">Thema</font></div>
<td><font size=1 face="sans-serif">Re: [DRBD-user] performance issues DRBD8.3.1
on Serveraid 8k</font></table>
<br>
<table>
<tr valign=top>
<td>
<td></table>
<br></table>
<br>
<br>
<br><tt><font size=2>On Fri, Jul 17, 2009 at 10:23:15AM +0200, Robert.Koeppl@knapp.com
wrote:<br>
&gt; Good morning!<br>
<br>
Hey there.<br>
<br>
Solution below ;)<br>
<br>
&gt; I am experiencing some troubling performance issues un one of my clusters.<br>
&gt; Hardware: <br>
&gt; IBM 3650 16GB RAM, 2xQuadcore Xeon 5450@3GHz<br>
&gt; ServeRaid 8k. 6x 2,5&quot; SAS 136GB 10kRPM Harddisks dedicated for
DRDB as <br>
&gt; RAID 10<br>
&gt; 256MB Chache, readahead and Write &nbsp;Cache activated. Stripe Size
256 KB<br>
&gt; Interlink over two intel 1Gbit optical NICs, bonded in mode 1<br>
&gt; <br>
&gt; OS:<br>
&gt; SLES 10 SP2, 64 bit, Kernel 2.6.16.60-33-smp x86_64<br>
&gt; DRBD 8.3.1 compiled from source on that machines.<br>
&gt; <br>
&gt; Oracle 10.2.0.4 running 2 different SIDs at the same time<br>
&gt; <br>
&gt; There are 17 DRBD-Devices running on top of LVM,, the LVM resides
on <br>
&gt; /dev/sdb, which is the RAID10 Arraiy mentioned above.<br>
&gt; <br>
&gt; The large Number of devices results from the whish of our DBA to have
each <br>
&gt; folder on a different Filesystem and synced independently. Although
this <br>
&gt; is far from optimal from a performance view it is fast enough on our
other <br>
&gt; systems that have similar setups.<br>
&gt; <br>
&gt; As long as DRBD is running standalone or waiting for connection the
system <br>
&gt; runs fine. <br>
&gt; iostat -x of the underlying device gives the following:<br>
&gt; <br>
&gt; Linux 2.6.16.60-0.33-smp (k1327kc1) &nbsp; &nbsp; 16.07.2009<br>
&gt; <br>
&gt; avg-cpu: &nbsp;%user &nbsp; %nice %system %iowait &nbsp;%steal &nbsp;
%idle<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0,76 &nbsp; &nbsp;0,00 &nbsp;
&nbsp;0,20 &nbsp; &nbsp;0,64 &nbsp; &nbsp;0,00 &nbsp; 98,40<br>
&gt; <br>
&gt; Device: &nbsp; &nbsp; &nbsp; &nbsp; rrqm/s &nbsp; wrqm/s &nbsp; &nbsp;
r/s &nbsp; &nbsp; w/s &nbsp; rsec/s &nbsp; wsec/s avgrq-sz <br>
&gt; avgqu-sz &nbsp; await &nbsp;svctm &nbsp;%util<br>
&gt; sdb &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;38,13 &nbsp; &nbsp;37,31
&nbsp; 17,20 &nbsp; 16,22 &nbsp; 985,46 &nbsp;1124,75 &nbsp; &nbsp;63,13
<br>
&gt; &nbsp; &nbsp; 0,65 &nbsp; 19,34 &nbsp; 3,00 &nbsp;10,04<br>
&gt; <br>
&gt; iostat -x of the drbd devices gives<br>
&gt; <br>
&gt; avg-cpu: &nbsp;%user &nbsp; %nice %system %iowait &nbsp;%steal &nbsp;
%idle<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0,12 &nbsp; &nbsp;0,00 &nbsp;
&nbsp;0,06 &nbsp; &nbsp;0,00 &nbsp; &nbsp;0,00 &nbsp; 99,81<br>
<br>
&gt; avg-cpu: &nbsp;%user &nbsp; %nice %system %iowait &nbsp;%steal &nbsp;
%idle<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0,37 &nbsp; &nbsp;0,00 &nbsp;
&nbsp;0,12 &nbsp; &nbsp;0,00 &nbsp; &nbsp;0,00 &nbsp; 99,50<br>
<br>
&gt; sometimes peak values are a bit higher, but well within reasonalbe
<br>
&gt; boundaries. whzich meand await somewhere up to 30 or 40 ms<br>
&gt; <br>
&gt; if DRBD is connected this changes dramatically:<br>
&gt; <br>
&gt; this is th master side:<br>
&gt; avg-cpu: &nbsp;%user &nbsp; %nice %system %iowait &nbsp;%steal &nbsp;
%idle<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0,12 &nbsp; &nbsp;0,00 &nbsp;
&nbsp;0,12 &nbsp; 24,81 &nbsp; &nbsp;0,00 &nbsp; 74,94<br>
<br>
&gt; drbd5 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0,00 &nbsp; &nbsp;
0,00 &nbsp; &nbsp;9,50 &nbsp; &nbsp;5,00 &nbsp; 112,00 &nbsp; &nbsp;64,00
&nbsp; &nbsp;12,14 <br>
&gt; &nbsp; &nbsp; 3,62 &nbsp;356,69 &nbsp;66,62 &nbsp;96,60<br>
&gt; drbd6 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0,00 &nbsp; &nbsp;
0,00 &nbsp; &nbsp;0,50 &nbsp; &nbsp;3,00 &nbsp; &nbsp;16,00 &nbsp; &nbsp;48,00
&nbsp; &nbsp;18,29 <br>
&gt; &nbsp; &nbsp; 3,22 1417,71 217,71 &nbsp;76,20<br>
&gt; drbd7 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0,00 &nbsp; &nbsp;
0,00 &nbsp; &nbsp;0,50 &nbsp; &nbsp;3,00 &nbsp; &nbsp;16,00 &nbsp; &nbsp;48,00
&nbsp; &nbsp;18,29 <br>
&gt; &nbsp; &nbsp; 3,50 1497,71 225,71 &nbsp;79,00<br>
&gt; drbd8 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0,00 &nbsp; &nbsp;
0,00 &nbsp; &nbsp;0,00 &nbsp; &nbsp;1,50 &nbsp; &nbsp; 0,00 &nbsp; &nbsp;
6,00 &nbsp; &nbsp; 4,00 <br>
&gt; &nbsp; &nbsp; 0,72 &nbsp;482,67 381,33 &nbsp;57,20<br>
&gt; drbd9 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0,00 &nbsp; &nbsp;
0,00 &nbsp; &nbsp;0,00 &nbsp; &nbsp;1,50 &nbsp; &nbsp; 0,00 &nbsp; &nbsp;
6,00 &nbsp; &nbsp; 4,00 <br>
&gt; &nbsp; &nbsp; 0,78 &nbsp;520,00 400,00 &nbsp;60,00<br>
&gt; drbd15 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0,00 &nbsp; &nbsp;
0,00 &nbsp; &nbsp;0,00 &nbsp; &nbsp;0,50 &nbsp; &nbsp; 0,00 &nbsp; &nbsp;
4,00 &nbsp; &nbsp; 8,00 <br>
&gt; &nbsp; &nbsp; 2,34 7988,00 1256,00 &nbsp;62,80<br>
&gt; drbd16 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0,00 &nbsp; &nbsp;
0,00 &nbsp; &nbsp;0,00 &nbsp; &nbsp;1,50 &nbsp; &nbsp; 0,00 &nbsp; &nbsp;12,00
&nbsp; &nbsp; 8,00 <br>
&gt; &nbsp; &nbsp; 1,18 &nbsp;900,00 610,67 &nbsp;91,60<br>
<br>
&gt; this is on the slave node:<br>
&gt; <br>
&gt; avg-cpu: &nbsp;%user &nbsp; %nice %system %iowait &nbsp;%steal &nbsp;
%idle<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0,19 &nbsp; &nbsp;0,00 &nbsp;
&nbsp;0,00 &nbsp; &nbsp;0,13 &nbsp; &nbsp;0,00 &nbsp; 99,69<br>
&gt; <br>
&gt; Device: &nbsp; &nbsp; &nbsp; &nbsp; rrqm/s &nbsp; wrqm/s &nbsp; &nbsp;
r/s &nbsp; &nbsp; w/s &nbsp; rsec/s &nbsp; wsec/s avgrq-sz <br>
&gt; avgqu-sz &nbsp; await &nbsp;svctm &nbsp;%util<br>
&gt; sdb &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0,00 &nbsp; &nbsp;13,00
&nbsp; &nbsp;0,00 &nbsp; 14,00 &nbsp; &nbsp; 0,00 &nbsp; 272,50 &nbsp;
&nbsp;19,46 <br>
&gt; &nbsp; &nbsp; 5,49 &nbsp;483,14 &nbsp;71,29 &nbsp;99,80<br>
&gt; <br>
&gt; avg-cpu: &nbsp;%user &nbsp; %nice %system %iowait &nbsp;%steal &nbsp;
%idle<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;1,19 &nbsp; &nbsp;0,00 &nbsp;
&nbsp;1,56 &nbsp; &nbsp;5,87 &nbsp; &nbsp;0,00 &nbsp; 91,38<br>
&gt; <br>
&gt; Device: &nbsp; &nbsp; &nbsp; &nbsp; rrqm/s &nbsp; wrqm/s &nbsp; &nbsp;
r/s &nbsp; &nbsp; w/s &nbsp; rsec/s &nbsp; wsec/s avgrq-sz <br>
&gt; avgqu-sz &nbsp; await &nbsp;svctm &nbsp;%util<br>
&gt; sdb &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0,00 &nbsp; &nbsp;
6,00 &nbsp; &nbsp;0,00 &nbsp; 10,50 &nbsp; &nbsp; 0,00 &nbsp; 148,00 &nbsp;
&nbsp;14,10 <br>
&gt; &nbsp; &nbsp; 4,94 &nbsp;343,81 &nbsp;92,19 &nbsp;96,80<br>
&gt; <br>
&gt; avg-cpu: &nbsp;%user &nbsp; %nice %system %iowait &nbsp;%steal &nbsp;
%idle<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;0,37 &nbsp; &nbsp;0,00 &nbsp;
&nbsp;4,80 &nbsp; &nbsp;4,86 &nbsp; &nbsp;0,00 &nbsp; 89,96<br>
&gt; <br>
&gt; Device: &nbsp; &nbsp; &nbsp; &nbsp; rrqm/s &nbsp; wrqm/s &nbsp; &nbsp;
r/s &nbsp; &nbsp; w/s &nbsp; rsec/s &nbsp; wsec/s avgrq-sz <br>
&gt; avgqu-sz &nbsp; await &nbsp;svctm &nbsp;%util<br>
&gt; sdb &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 0,00 &nbsp; &nbsp;40,80
&nbsp; &nbsp;0,00 &nbsp; 14,43 &nbsp; &nbsp; 0,00 &nbsp; 514,93 &nbsp;
&nbsp;35,69 <br>
&gt; &nbsp; &nbsp; 3,10 &nbsp;307,31 &nbsp;54,07 &nbsp;78,01<br>
&gt; <br>
&gt; <br>
&gt; This renders the system completely useless.<br>
&gt; <br>
&gt; Here is the drbd.conf:<br>
&gt; <br>
&gt; global {usage-count no;}<br>
&gt; resource r0 {<br>
&gt; handlers {<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; outdate-peer <br>
&gt; &quot;/usr/lib64/heartbeat/drbd-peer-outdater&quot;;pri-on-incon-degr
&quot;echo '!DRBD! <br>
&gt; pri on incon-degr' | wall ; sleep 60 ; halt -f&quot;;<br>
&gt; &nbsp; &nbsp; }<br>
&gt; &nbsp; protocol C;<br>
&gt; <br>
&gt; &nbsp; startup {<br>
&gt; &nbsp; &nbsp; wfc-timeout 0; degr-wfc-timeout 120; &nbsp; &nbsp;#
2 minutes.<br>
&gt; &nbsp; }<br>
&gt; <br>
&gt; &nbsp; disk {<br>
<br>
add here:<br>
<br>
 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;
no-disk-barrier;<br>
<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; no-disk-flushes;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; no-md-flushes;<br>
&gt; &nbsp; &nbsp; &nbsp; &nbsp; fencing resource-only;<br>
&gt; &nbsp; &nbsp; on-io-error &nbsp; detach;<br>
&gt; &nbsp; }<br>
<br>
btw, you may want to simplify your drbd.conf file<br>
by using the &quot;common {}&quot; secttion.<br>
<br>
see also e.g.:<br>
http://thread.gmane.org/gmane.linux.network.drbd/17545/focus=17585<br>
<br>
-- <br>
: Lars Ellenberg<br>
: LINBIT | Your Way to High Availability<br>
: DRBD/HA support and consulting http://www.linbit.com<br>
<br>
DRBD® and LINBIT® are registered trademarks of LINBIT, Austria.<br>
__<br>
please don't Cc me, but send to list &nbsp; -- &nbsp; I'm subscribed<br>
_______________________________________________<br>
drbd-user mailing list<br>
drbd-user@lists.linbit.com<br>
http://lists.linbit.com/mailman/listinfo/drbd-user<br>
</font></tt>
<br>