<HTML dir=ltr><HEAD><TITLE>RE: [DRBD-user] Dell Server Question</TITLE>
<META content="text/html; charset=unicode" http-equiv=Content-Type>
<META name=GENERATOR content="MSHTML 9.00.8112.16437">
<STYLE><!--
                      
font-face
        {font-family:"Cambria Math";}
font-face
        {font-family:Calibri;}
font-face
        {font-family:Tahoma;}
                       
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
a:link, span.MsoHyperlink
        {
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {
        color:purple;
        text-decoration:underline;}
p
        {
        margin-right:0in;
        margin-left:0in;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
        {
        margin:0in;
        margin-bottom:.0001pt;
        font-size:8.0pt;
        font-family:"Tahoma","sans-serif";}
span.EmailStyle18
        {
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
span.BalloonTextChar
        {
        font-family:"Tahoma","sans-serif";}
.MsoChpDefault
        {
        font-size:10.0pt;}

div.WordSection1
        {page:WordSection1;}
--></STYLE>
</HEAD>
<BODY lang=EN-US vLink=purple link=blue>
<DIV dir=ltr id=idOWAReplyText647>
<DIV dir=ltr><FONT color=#000000 size=2 face=Arial>Well I might be able to give you such a sent of benchmarks.&nbsp; I have 2 new servers that are using 3.5" 15k drives so I can pull some random IO patterns and later post them.&nbsp; Plus I have data from some 2.5" drive sets that can be compared against.</FONT></DIV>
<DIV dir=ltr><FONT size=2 face=Arial></FONT>&nbsp;</DIV>
<DIV dir=ltr><FONT size=2 face=Arial>-Morey</FONT></DIV></DIV>
<DIV dir=ltr><BR>
<HR tabIndex=-1>
<FONT size=2 face=Tahoma><B>From:</B> John Lauro [mailto:john.lauro@covenanteyes.com]<BR><B>Sent:</B> Fri 12/9/2011 8:01 PM<BR><B>To:</B> Roof, Morey R.; drbd-user@lists.linbit.com<BR><B>Subject:</B> RE: [DRBD-user] Dell Server Question<BR></FONT><BR></DIV>
<DIV>
<DIV class=WordSection1>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri','sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt">You are correct, it&#8217;s only 12+2 drives on the R515.&nbsp; I was confusing it with another server (non Dell).</SPAN></P>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri','sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt"></SPAN>&nbsp;</P>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri','sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt">You would think that 2.5&#8221; drives would be faster.&nbsp; Maybe it&#8217;s just the particular drives I have tested with.&nbsp; Have you done any benchmarks, especially random I/O?&nbsp; It was only 10K on the 2.5 drives vs.&nbsp; 15K on the 3.5 with much higher capacities.&nbsp; For my needs, I am mostly interested in random I/O than sequential.</SPAN></P>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri','sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt"></SPAN>&nbsp;</P>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri','sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt"></SPAN>&nbsp;</P>
<DIV style="BORDER-BOTTOM: medium none; BORDER-LEFT: blue 1.5pt solid; PADDING-BOTTOM: 0in; PADDING-LEFT: 4pt; PADDING-RIGHT: 0in; BORDER-TOP: medium none; BORDER-RIGHT: medium none; PADDING-TOP: 0in">
<DIV>
<DIV style="BORDER-BOTTOM: medium none; BORDER-LEFT: medium none; PADDING-BOTTOM: 0in; PADDING-LEFT: 0in; PADDING-RIGHT: 0in; BORDER-TOP: #b5c4df 1pt solid; BORDER-RIGHT: medium none; PADDING-TOP: 3pt">
<P class=MsoNormal><B><SPAN style="FONT-FAMILY: 'Tahoma','sans-serif'; FONT-SIZE: 10pt">From:</SPAN></B><SPAN style="FONT-FAMILY: 'Tahoma','sans-serif'; FONT-SIZE: 10pt"> Roof, Morey R. [mailto:MRoof@admin.nmt.edu] <BR><B>Sent:</B> Friday, December 09, 2011 9:34 PM<BR><B>To:</B> John Lauro; drbd-user@lists.linbit.com<BR><B>Subject:</B> RE: [DRBD-user] Dell Server Question</SPAN></P></DIV></DIV>
<P class=MsoNormal>&nbsp;</P>
<DIV id=idOWAReplyText44697>
<DIV>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; COLOR: black; FONT-SIZE: 10pt">The R515 only does 12 drives, not 16 drives and the two internal mean a server shutdown for replacement which is slight annoying.</SPAN></P></DIV>
<DIV>
<P class=MsoNormal>&nbsp;</P></DIV>
<DIV>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt">One of the IBM servers (which also has an LSI card) holds 28 2.5" drives.&nbsp; It is the model x3630 M3 and it is another I have been looking at.</SPAN></P></DIV>
<DIV>
<P class=MsoNormal>&nbsp;</P></DIV>
<DIV>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Arial','sans-serif'; FONT-SIZE: 10pt">Very strange that you would say that 3.5 are faster than 2.5.&nbsp; With the higher densities of the 2.5 drives in the 10k range the larger bit densities per cm^2 means a much higher data transfer speed.&nbsp; Also, if you look at the seek times they are pretty much identical and a full drive sweep is a bit faster on the 2.5 than the 3.5 since the drive is smaller.</SPAN></P></DIV>
<DIV>
<P class=MsoNormal>&nbsp;</P></DIV>
<DIV>
<P class=MsoNormal>&nbsp;</P></DIV></DIV>
<DIV>
<P class=MsoNormal>&nbsp;</P>
<DIV style="TEXT-ALIGN: center" class=MsoNormal align=center>
<HR align=center SIZE=2 width="100%">
</DIV>
<P style="MARGIN-BOTTOM: 12pt" class=MsoNormal><B><SPAN style="FONT-FAMILY: 'Tahoma','sans-serif'; FONT-SIZE: 10pt">From:</SPAN></B><SPAN style="FONT-FAMILY: 'Tahoma','sans-serif'; FONT-SIZE: 10pt"> John Lauro [<A href="mailto:john.lauro@covenanteyes.com">mailto:john.lauro@covenanteyes.com</A>]<BR><B>Sent:</B> Fri 12/9/2011 5:21 PM<BR><B>To:</B> Roof, Morey R.; 'Kushnir, Michael (NIH/NLM/LHC) [C]'; <A href="mailto:drbd-user@lists.linbit.com">drbd-user@lists.linbit.com</A><BR><B>Subject:</B> RE: [DRBD-user] Dell Server Question</SPAN></P></DIV>
<DIV>
<P><SPAN style="FONT-SIZE: 10pt">Supermicro might be your best option, but for comparisons a more standard<BR>model for a Dell is the R515 (or 510) instead of the C-series, with 16<BR>3.5" drives and 2 2.5" drives all in 2U.&nbsp; Unless you count SSD, despite<BR>the higher density (24 vs 16) I haven't found 2.5" drives that really<BR>match the performance of 3.5" drives, although they are getting closer.<BR>Much easier to find trays/drives for the R515 than the C-series.<BR><BR>PS: Often you can get Dell to match prices on systems if you give them a<BR>quote to compete with.&nbsp; Given the shortage of hard drives, it might be<BR>harder than normal right now...<BR><BR><BR>My biggest annoyance with Dell (and LSI as they make the controllers), is<BR>they don't properly do Raid 1/10 despite their configuration info implying<BR>they do.&nbsp; They really only read from 1 drive, so performance-wise you are<BR>better off not utilizing the hardware RAID and making a md raid 1/10 on<BR>top of the individual drives.&nbsp; That said, their RAID 5 performance is<BR>excellent.<BR><BR><BR><BR>&gt; -----Original Message-----<BR>&gt; From: <A href="mailto:drbd-user-bounces@lists.linbit.com">drbd-user-bounces@lists.linbit.com</A> [<A href="mailto:drbd-user-">mailto:drbd-user-</A><BR>&gt; <A href="mailto:bounces@lists.linbit.com">bounces@lists.linbit.com</A>] On Behalf Of Roof, Morey R.<BR>&gt; Sent: Friday, December 09, 2011 2:54 PM<BR>&gt; To: Kushnir, Michael (NIH/NLM/LHC) [C]; <A href="mailto:drbd-user@lists.linbit.com">drbd-user@lists.linbit.com</A><BR>&gt; Subject: Re: [DRBD-user] Dell Server Question<BR>&gt;<BR>&gt; Hi Michael,<BR>&gt;<BR>&gt; Thanks a bunch for the information.&nbsp; I was looking at the Supermicro<BR>&gt; boxes (used quite a few of them) and was a bit curious about the Dell<BR>&gt; offering.&nbsp; I'm glad to know I shouldn't use them and I believe I will<BR>&gt; just go with the Supermicro setup as I was planning.<BR>&gt;<BR>&gt; One big issue I wanted to know was the backplane for the HDDs.&nbsp; Having<BR>&gt; it split like that it is really stupid.&nbsp; With the supermicro chassis<BR>&gt; they can be ordered with dual expander chips so cards like the Megaraid<BR>&gt; can load balance the IO to both ports on the HDDs.<BR>&gt;<BR>&gt; Pretty sad that Dell would act like that but it is their loss.<BR>&gt;<BR>&gt; Thanks again,<BR>&gt; Morey<BR>&gt;<BR>&gt; -----Original Message-----<BR>&gt; From: Kushnir, Michael (NIH/NLM/LHC) [C]<BR>&gt; [<A href="mailto:michael.kushnir@nih.gov">mailto:michael.kushnir@nih.gov</A>]<BR>&gt; Sent: Friday, December 09, 2011 11:53 AM<BR>&gt; To: Roof, Morey R.; <A href="mailto:drbd-user@lists.linbit.com">drbd-user@lists.linbit.com</A><BR>&gt; Subject: RE: Dell Server Question<BR>&gt;<BR>&gt; Hi Morey,<BR>&gt;<BR>&gt; I am using two C2100 servers with 2.5" inch chassis with DRBD. To save<BR>&gt; you the long read, my quick and short recommendation is: AVOID THEM LIKE<BR>&gt; THE PLAGUE!<BR>&gt;<BR>&gt; For the money, get<BR>&gt; <A href="http://www.supermicro.com/products/chassis/4U/417/SC417E16-R1400U.cfm">http://www.supermicro.com/products/chassis/4U/417/SC417E16-R1400U.cfm</A><BR>&gt; (72-bay - 4U) or the<BR>&gt; <A href="http://www.supermicro.com/products/chassis/2U/216/SC216E16-R1200U.cfm">http://www.supermicro.com/products/chassis/2U/216/SC216E16-R1200U.cfm</A><BR>&gt; (24 bay - 2U) instead.<BR>&gt;<BR>&gt; If you want more detailed info, read on! :)<BR>&gt;<BR>&gt;&nbsp; My servers came with the LSI 9260-8i RAID cards, single E5620 CPU, 12GB<BR>&gt; RAM, and the Intel based "mezzanine" dual-port 10GbE card. The backplane<BR>&gt; is split with 12 slots connected to one port on the RAID card, and 12<BR>&gt; slots on the other.<BR>&gt;<BR>&gt; CPU and RAM:<BR>&gt; I've found the E5620 is more than capable of handling the load from DRBD<BR>&gt; and IET (software iscsi target). 12GB RAM is also ample for my needs.<BR>&gt;<BR>&gt; Network:<BR>&gt; I've found the Intel 10GbE card to be a good performer. I am using it<BR>&gt; with Finisar SFP+ modules and have it connected to a Cisco 4900 switch<BR>&gt; with Cisco optics on the switch end. I have the two ports in an LACP<BR>&gt; (mode 4) bond.&nbsp; I am getting ping latencies of about 0.23-0.3ms. I'm<BR>&gt; happy with that performance.<BR>&gt;<BR>&gt; RAID:<BR>&gt; I have my OS (RHEL 5) and swap on a pair of 500GB SATA2 disks in RAID1,<BR>&gt; and my DRBD on a RAID10 made up of 10 Constellation.2 1TB disks.<BR>&gt; Metadata is set to internal. The max replication rate (for the initial<BR>&gt; sync)&nbsp; was ~3.2Gbits/s (measured by iftop).<BR>&gt;<BR>&gt;<BR>&gt; Issues:<BR>&gt;<BR>&gt; 1.<BR>&gt;<BR>&gt; This server is not actually made by Dell. It is completely outsourced to<BR>&gt; another manufacturer. I was not able to get any useful support from Dell<BR>&gt; with any issues that I had. Their support people simply don't know crap<BR>&gt; about this server, how to use it, or how to manage it. Considering that<BR>&gt; I'm with the Federal government, and go through a dedicated support<BR>&gt; team, that should say something. Dell was not even able to tell me what<BR>&gt; software to use to manage the RAID array and failure notifications.<BR>&gt;<BR>&gt; Dell kept telling me that the LSI command line utility is the only way<BR>&gt; to go, and that the server, "is intended for hyper scale environments<BR>&gt; where the expectation is that a failed server would just fail and be<BR>&gt; replaced by another, and where administrators should know how to manage<BR>&gt; such an environment."<BR>&gt;<BR>&gt;&nbsp; Thankfully, LSI support people pointed me to their GUI which unlocks<BR>&gt; great features like SNMP and SMTP notifications, SSD caching, and SSD<BR>&gt; protector for SSD RAID.<BR>&gt;<BR>&gt; 2.<BR>&gt;<BR>&gt; Because the hardware is not actually "made" by Dell, this server is not<BR>&gt; compatible with Open Manage and you can't update your drivers firmware<BR>&gt; from Dell's yum repositories firmware.<BR>&gt;<BR>&gt; 3.<BR>&gt;<BR>&gt; Drive trays--- wow was this a surprise for me!!! Dell has a new policy<BR>&gt; where they do not sell drive trays without hard drives in them. As you<BR>&gt; might know, Dell's drives are highly overpriced. They will also not sell<BR>&gt; you a server fully populated with trays unless you get it fully<BR>&gt; populated with drives. We bought over $100k of Dell equipment this year,<BR>&gt; and they would not make an exception and give us the drive trays.<BR>&gt;<BR>&gt; So, finally, we relented, and we bought 16 (8 for each server) Crucial<BR>&gt; M4 512GB SSDs from Dell for about $13k. Once we bought the drives, we<BR>&gt; asked for trays. Dell told us to go... The policy is that trays are only<BR>&gt; supplied with Dell BRAND drives, not any drives purchased from Dell.<BR>&gt;<BR>&gt; We relented again, and asked Dell to sell us their cheapest hard drives<BR>&gt; just to get trays. Dell told us that they cannot, because they are out<BR>&gt; of hard drives due to flooding in Thailand. And they cannot just charge<BR>&gt; us for drives and ship only the trays. GRR!!! Bastards!!!<BR>&gt;<BR>&gt;&nbsp; I've tried finding the trays online. It took me months to find some at<BR>&gt; codemicro.com. Then they suddenly sold out of all 400+ units. So, the<BR>&gt; last batch, I had to buy on eBay. I thank God that Ivan from New Jersey<BR>&gt; was able to find some to put them on eBay.<BR>&gt;<BR>&gt;<BR>&gt; So, my recommendation is: STAY AWAY! Get the SuperMicro chassis (it<BR>&gt; comes with all 72 drive trays and plenty of expansion capacity. Get ASUS<BR>&gt; server motherboards (I use them in my private lab), Myri 10GbE&nbsp; NICs (I<BR>&gt; use them in other production servers), and LSI 9260-8i (or better) RAID<BR>&gt; cards. You will be in a good place in terms of hardware and money spent.<BR>&gt;<BR>&gt;<BR>&gt;<BR>&gt; Best,<BR>&gt; Michael Kushnir<BR>&gt;<BR>&gt; Lead VMware and UNIX Systems Administrator<BR>&gt; Communications Engineering Branch,<BR>&gt; Lister Hill National Center for Biomedical Communications,<BR>&gt; National Library of Medicine,<BR>&gt; National Institutes of Health<BR>&gt;<BR>&gt; -----Original Message-----<BR>&gt; From: Roof, Morey R. [<A href="mailto:MRoof@admin.nmt.edu">mailto:MRoof@admin.nmt.edu</A>]<BR>&gt; Sent: Thursday, December 08, 2011 1:30 PM<BR>&gt; To: <A href="mailto:drbd-user@lists.linbit.com">drbd-user@lists.linbit.com</A><BR>&gt; Subject: [DRBD-user] Dell Server Question<BR>&gt;<BR>&gt; Hi Everyone,<BR>&gt;<BR>&gt; Anyone out there using a Dell Poweredge C2100 with the 24 2.5" HDD<BR>&gt; backplane?&nbsp; I'm curious to know a little about the backplane, mainly if<BR>&gt; it is a dual port backplane where the RAID controller can use both ports<BR>&gt; on the SAS drives to load balance the IO operations.&nbsp; Dell's website<BR>&gt; isn't very specific on this point.&nbsp; Also, some information about how the<BR>&gt; server seems work with DRBD would be very helpful to me.<BR>&gt;<BR>&gt; Thanks,<BR>&gt; Morey<BR>&gt; _______________________________________________<BR>&gt; drbd-user mailing list<BR>&gt; <A href="mailto:drbd-user@lists.linbit.com">drbd-user@lists.linbit.com</A><BR>&gt; <A href="http://lists.linbit.com/mailman/listinfo/drbd-user">http://lists.linbit.com/mailman/listinfo/drbd-user</A><BR>&gt; _______________________________________________<BR>&gt; drbd-user mailing list<BR>&gt; <A href="mailto:drbd-user@lists.linbit.com">drbd-user@lists.linbit.com</A><BR>&gt; <A href="http://lists.linbit.com/mailman/listinfo/drbd-user">http://lists.linbit.com/mailman/listinfo/drbd-user</A></SPAN></P></DIV></DIV></DIV></DIV></BODY></HTML>