<div dir="ltr">Hi all,<div><br></div><div>Here is my problem :</div><div>I&#39;ve got two servers connected via a switch with a dedicated 1Gb NIC. We have a SSD raid 1 on both servers (software RAID on Redhat 6.5).</div><div>Using dd command I can reach ~180MB/s (dd if=/dev/zero of=/home/oracle/output conv=fdatasync bs=384k count=1k; rm -f /home/oracle/output).</div><div>Using scp to copy a 3GB file through the network uses all the bandwith (~80/90 MB/s)</div><div>Full sync between the primary and the secondary is from 3MB/s to 12MB/s (I start with a speed of 60MB/s during less than a minute and then drop to 8-9MB/s).</div><div>My drbd partition is 200GB and I use drbd 8.4.4.</div><div>My config file is as follow :</div><div><br></div><div><div>  net {</div><div>         cram-hmac-alg &quot;sha1&quot;;</div><div>         shared-secret &quot;secret&quot;;</div><div>         sndbuf-size 512k;</div><div>         max-buffers 8000;</div><div>         max-epoch-size 8000;</div><div>         verify-alg sha1;</div><div>         after-sb-0pri disconnect;</div><div>         after-sb-1pri disconnect;</div><div>         after-sb-2pri disconnect;</div><div>  }</div><div><br></div><div>  disk {</div><div>        al-extents 3389;</div><div>        fencing resource-only;</div><div>  }</div><div><br></div><div>  syncer {</div><div>        rate 60M;</div><div>  }</div></div><div><br></div><div>I tried protocol A and C, increasing then decreasing rate speed, adding &quot;c-plan-ahead 0&quot;  but got the same sync speed.</div><div>How can I find where is the bottleneck ?</div><div>iostat report 100%util on /dev/drbd0 on the secondary.</div><div>vmstat and mpstat report all the CPU as idle (secondary)</div><div>The flag &quot;n&quot; -&gt; &quot;network socket contention&quot; is regularly showing up on the primary (/proc/drbd)</div><div>ethtool report 1GB on both host (I also tried to replicate on another NIC)</div><div><br></div><div>Regards,</div></div>