[DRBD-user] low write speed RAID->LVM->DRBD

Adam Sobieraj adam.sobieraj at neutrino.home.pl
Wed Nov 16 13:21:48 CET 2011

Note: "permalinks" may not be as permanent as we would like,
direct links of old sources may well be a few messages off.


Hello

I have problem with write speed on drbd my setup is:
Linux kernel 3.0.6-2, DRBD 8.4.0, i have RAID5 configuration
DISKS->RAID5->LVM->DRBD
LVM i about 180MB/s and DRBD is at 45MB/s write speed;

iostat for DRBD
> Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
> sda               0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> sdc             145,50  3118,00   53,50  270,00   798,00 13482,00    88,28    10,35   31,99   36,76   31,05   2,04  66,15
> sdd             116,50  3099,50   39,50  268,50   504,00 13288,00    89,56     7,49   17,00   24,90   15,84   1,41  43,30
> sde             116,00  3061,00   28,50  268,50   436,00 13080,00    91,02     8,68   18,79   21,70   18,48   2,09  62,15
> sdf             193,00  3058,50   39,50  275,00   788,00 13148,00    88,62     9,86   23,99   31,09   22,97   2,44  76,65
> sdb               0,50     0,00    4,00    0,00    34,00     0,00    17,00     0,10   24,12   24,12    0,00   8,25   3,30
> md1               0,00     0,00    4,50    0,00    34,00     0,00    15,11     0,00    0,00    0,00    0,00   0,00   0,00
> dm-0              0,00     0,00    4,50    0,00    34,00     0,00    15,11     0,10   22,89   22,89    0,00   7,44   3,35
> dm-1              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-2              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-3              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-4              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-5              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-6              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> md0               0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> md2               0,00     0,00    0,00 10269,50     0,00 41000,00     7,98     0,00    0,00    0,00    0,00   0,00   0,00
> dm-7              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-8              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-9              0,00     0,00    0,00 10260,00     0,00 41000,00     7,99   441,27   37,45    0,00   37,45   0,10 100,00
> dm-10             0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-11             0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-12             0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> drbd11            0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> drbd2             0,00     0,00    0,00 10240,00     0,00 40960,00     8,00   585,63   37,51    0,00   37,51   0,10 100,00
> dm-13             0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-14             0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00

iostat for LVM
> Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
> sda               0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> sdc              21,50 13780,50   11,00  946,50   130,00 58394,00   122,24     6,89    7,07   27,59    6,83   0,59  56,80
> sdd               6,00 13780,50    8,00  955,50    56,00 58944,00   122,47     9,72   10,09   32,31    9,90   0,73  70,15
> sde              17,50 13780,50    7,50  963,00   100,00 59396,00   122,61     8,12    8,49   42,00    8,23   0,65  63,30
> sdf              16,00 13780,50    7,50  955,50    96,00 58944,00   122,62     9,65   10,03   43,07    9,77   0,67  64,50
> sdb               0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> md1               0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-0              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-1              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-2              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-3              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-4              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-5              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-6              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> md0               0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> md2               0,00     0,00    0,00 44207,50     0,00 176830,00     8,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-7              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-8              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-9              0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-10             0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-11             0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-12             0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> drbd11            0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> drbd2             0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00
> dm-13             0,00     0,00    0,00 44207,50     0,00 176830,00     8,00   967,82   21,91    0,00   21,91   0,02 100,00
> dm-14             0,00     0,00    0,00    0,00     0,00     0,00     0,00     0,00    0,00    0,00    0,00   0,00   0,00

Test is done on single node, when a connect the second is worse....
Any ideas?

Many thanks,
Adam Sobieraj







More information about the drbd-user mailing list