<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=utf-8">
<STYLE>
BLOCKQUOTE {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px; MARGIN-LEFT: 2em
}
OL {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px
}
UL {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px
}
P {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px
}
BODY {
        FONT-SIZE: 10.5pt; COLOR: #000080; LINE-HEIGHT: 1.5; FONT-FAMILY: 宋体
}
</STYLE>

<META content="MSHTML 6.00.2900.6197" name=GENERATOR></HEAD>
<BODY style="MARGIN: 10px">
<DIV>hi,Felix, many thanks. </DIV>
<DIV>&nbsp;</DIV>
<DIV style="TEXT-INDENT: 2em">I used this cmd, here is my result:</DIV>
<DIV style="TEXT-INDENT: 2em">machine 1:</DIV>
<DIV style="TEXT-INDENT: 2em">
<DIV>resource&nbsp;r0&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;options&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;net&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;max-epoch-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;20000;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;max-buffers&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;80000;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;sndbuf-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1048576;&nbsp;#&nbsp;bytes</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;_remote_host&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ipv4&nbsp;192.168.100.231:7788;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;_this_host&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ipv4&nbsp;192.168.100.213:7788;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;volume&nbsp;0&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;minor&nbsp;0;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"/dev/sdd1";</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;meta-disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;internal;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;disk&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;al-extents&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3389;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>}</DIV>
<DIV>&nbsp;</DIV></DIV>
<DIV style="TEXT-INDENT: 2em">machine 2:</DIV>
<DIV>
<DIV>resource&nbsp;r0&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;options&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;net&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;max-epoch-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;20000;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;max-buffers&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;80000;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;sndbuf-size&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1048576;&nbsp;#&nbsp;bytes</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;_remote_host&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ipv4&nbsp;192.168.100.213:7788;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;_this_host&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;address&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ipv4&nbsp;192.168.100.231:7788;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;volume&nbsp;0&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;device&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;minor&nbsp;0;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;"/dev/sdc1";</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;meta-disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;internal;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;disk&nbsp;{</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;al-extents&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3389;</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>&nbsp;&nbsp;&nbsp;&nbsp;}</DIV>
<DIV>}</DIV>
<DIV>&nbsp;</DIV>
<DIV>and when I retest, the results of 3 sequential&nbsp;tests are:</DIV>
<DIV>
<DIV>&nbsp;</DIV>
<DIV>#&nbsp;dd&nbsp;if=/dev/zero&nbsp;of=test3&nbsp;bs=1M&nbsp;count=800&nbsp;conv=fdatasync</DIV>
<DIV>800+0&nbsp;records&nbsp;in</DIV>
<DIV>800+0&nbsp;records&nbsp;out</DIV>
<DIV>838860800&nbsp;bytes&nbsp;(839&nbsp;MB)&nbsp;copied,&nbsp;24.6033&nbsp;seconds,&nbsp;34.1&nbsp;MB/s</DIV>
<DIV>&nbsp;</DIV>
<DIV>#&nbsp;dd&nbsp;if=/dev/zero&nbsp;of=test3&nbsp;bs=1M&nbsp;count=800&nbsp;conv=fdatasync</DIV>
<DIV>800+0&nbsp;records&nbsp;in</DIV>
<DIV>800+0&nbsp;records&nbsp;out</DIV>
<DIV>838860800&nbsp;bytes&nbsp;(839&nbsp;MB)&nbsp;copied,&nbsp;22.9287&nbsp;seconds,&nbsp;36.6&nbsp;MB/s</DIV>
<DIV>&nbsp;</DIV>
<DIV>
<DIV>#&nbsp;dd&nbsp;if=/dev/zero&nbsp;of=test3&nbsp;bs=1M&nbsp;count=800&nbsp;conv=fdatasync</DIV>
<DIV>800+0&nbsp;records&nbsp;in</DIV>
<DIV>800+0&nbsp;records&nbsp;out</DIV>
<DIV>838860800&nbsp;bytes&nbsp;(839&nbsp;MB)&nbsp;copied,&nbsp;10.151&nbsp;seconds,&nbsp;82.6&nbsp;MB/s</DIV></DIV>
<DIV>&nbsp;</DIV>
<DIV>So, the first&nbsp;and second&nbsp;times&nbsp;write-performance is so 
slow,&nbsp;</DIV>
<DIV>but the 3rd performance is better ? what problem may induced this,</DIV>
<DIV>is my test method&nbsp;incorrect?</DIV>
<DIV>&nbsp;</DIV>
<DIV>BRs,</DIV>
<DIV>feng</DIV>
<DIV>&nbsp;</DIV>
<DIV>&nbsp;</DIV>
<DIV>&nbsp;</DIV>
<DIV>&nbsp;</DIV>
<DIV>&nbsp;</DIV></DIV></DIV>
<HR style="WIDTH: 210px; HEIGHT: 1px" align=left color=#b5c4df SIZE=1>

<DIV>&nbsp;</DIV>
<DIV 
style="BORDER-RIGHT: medium none; PADDING-RIGHT: 0cm; BORDER-TOP: #b5c4df 1pt solid; PADDING-LEFT: 0cm; PADDING-BOTTOM: 0cm; BORDER-LEFT: medium none; PADDING-TOP: 3pt; BORDER-BOTTOM: medium none">
<DIV 
style="PADDING-RIGHT: 8px; PADDING-LEFT: 8px; FONT-SIZE: 12px; BACKGROUND: #efefef; PADDING-BOTTOM: 8px; COLOR: #000000; PADDING-TOP: 8px">
<DIV><B>From:</B>&nbsp;<A href="mailto:ff@mpexnet.de">Felix Frank</A></DIV>
<DIV><B>Date:</B>&nbsp;2012-04-30&nbsp;22:38</DIV>
<DIV><B>To:</B>&nbsp;<A href="mailto:zf5984599@gmail.com">zf5984599</A></DIV>
<DIV><B>CC:</B>&nbsp;<A 
href="mailto:drbd-user@lists.linbit.com">drbd-user</A></DIV>
<DIV><B>Subject:</B>&nbsp;Re: [DRBD-user] drbd write performance slow, per disk 
40M/s by dd command</DIV></DIV></DIV>
<DIV>
<DIV>Hi,</DIV>
<DIV>&nbsp;</DIV>
<DIV>On&nbsp;04/26/2012&nbsp;03:24&nbsp;AM,&nbsp;zf5984599&nbsp;wrote:</DIV>
<DIV>&gt;&nbsp;I&nbsp;had&nbsp;turned&nbsp;off&nbsp;disk-barrier&nbsp;and&nbsp;disk-flushes&nbsp;in&nbsp;config&nbsp;file,&nbsp;but&nbsp;there</DIV>
<DIV>&gt;&nbsp;is&nbsp;no&nbsp;difference.</DIV>
<DIV>&nbsp;</DIV>
<DIV>did&nbsp;you&nbsp;make&nbsp;sure&nbsp;your&nbsp;tunings&nbsp;were&nbsp;applied&nbsp;correctly?</DIV>
<DIV>It's&nbsp;advisable&nbsp;to&nbsp;check&nbsp;using&nbsp;"drbdsetup&nbsp;0&nbsp;show"&nbsp;(if&nbsp;0&nbsp;is&nbsp;indeed&nbsp;the</DIV>
<DIV>minor&nbsp;number&nbsp;of&nbsp;the&nbsp;resource&nbsp;under&nbsp;test).</DIV>
<DIV>&nbsp;</DIV>
<DIV>Your&nbsp;100MBps&nbsp;result&nbsp;looks&nbsp;suspicious&nbsp;to&nbsp;me.&nbsp;Hum.</DIV>
<DIV>&nbsp;</DIV>
<DIV>HTH,</DIV>
<DIV>Felix</DIV></DIV></BODY></HTML>