<div style="font-size:10pt; font-family:Gulim;"><br><p style="font-size:10pt;FONT-FAMILY: Gulim,AppleGothic,sans-serif;padding:0 0 0 10pt"><span>-----Original Message-----</span><br><b>From:</b> "trex"&lt;seo@xsinc.co.kr&gt; <br><b>To:</b> "Lars Ellenberg"&lt;lars.ellenberg@linbit.com&gt;; <br><b>Cc:</b> <br><b>Sent:</b> 2014-01-11 (토) 00:47:47<br><b>Subject:</b> Re: [DRBD-user] How to Trim ssd raid+ocfs2+drbd+dual primary?<br>&nbsp;</p><div style="font-size:10pt; font-family:Gulim;"><p>I was surprised when you said it works.</p><p>so i re-created drbd enviroments and tested it.</p><p style="font-size: 10pt;">&nbsp;</p><p style="font-size: 10pt;">Ubuntu 13.04 (3.8.0-19-generic)</p><p style="font-size: 10pt;">DRBD 8.4.3</p><p style="font-size: 10pt;">&nbsp;</p><p style="font-size: 10pt;">/etc/drbd.d/disk.res</p><p style="font-size: 10pt;">&nbsp;</p><p>resource store {</p><p>protocol C;</p><p>startup {</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; wfc-timeout 20;</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; degr-wfc-timeout 10;</p><p>}</p><p>&nbsp;</p><p>&nbsp;disk {</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; fencing dont-care;</p><p>&nbsp;</p><p>&nbsp; &nbsp; &nbsp; &nbsp; }</p><p>&nbsp;</p><p>&nbsp; on node1 {</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; device /dev/drbd0;</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; disk /dev/sda;</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; meta-disk internal;</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; address 192.168.0.11:7789;</p><p>&nbsp; }</p><p>&nbsp;</p><p>&nbsp; on node2 {</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; device /dev/drbd0;</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; disk /dev/sda;</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; meta-disk internal;</p><p>&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; address 192.168.0.12:7789;</p><p>&nbsp; }</p><p>&nbsp;</p><p>}</p><div>------------------------------------------------</div><div>I formatted /dev/drbd0 with ext4 and mount it on /store.</div><div>fstrim -v /store</div><div>&nbsp;</div><div><div>fstrim: /store: FITRIM ioctl failed: Operation not supported</div></div><div>&nbsp;</div><div>&nbsp;</div><div>&nbsp;</div><div>&nbsp;</div><div>&nbsp;</div><div>It still doesn't work.</div><div>What's your configuration?</div><div>&nbsp;</div><div>&nbsp;</div><div>&nbsp;</div><p style="font-size: 10pt;">&nbsp;</p><p style="font-size: 10pt;">&nbsp;</p><p style="font-size: 10pt;">&nbsp;</p><p style="font-size:10pt;FONT-FAMILY: Gulim,AppleGothic,sans-serif;padding:0 0 0 10pt">&nbsp;</p><div align="justify" style="text-align: justify;"><span style="font-size: 10pt; line-height: 1.5;">-----Original Message-----</span></div><b>From:</b> "Lars Ellenberg"&lt;lars.ellenberg@linbit.com&gt; <br><b>To:</b> &lt;drbd-user@lists.linbit.com&gt;; <br><b>Cc:</b> <br><b>Sent:</b> 2014-01-10 (금) 18:46:53<br><b>Subject:</b> Re: [DRBD-user] How to Trim ssd raid+ocfs2+drbd+dual primary?<br><br>On Fri, Jan 10, 2014 at 05:55:47PM +0900, trex wrote:<br>&gt; On Wed, Jan 08, 2014 at 09:56:19PM +0900, trex wrote:<br>&gt; &gt;&gt; I built HA iSCSI targets with ocfs2+dual primary.(Ubuntu 13.04)<br>&gt; &gt;&gt; Each node has SSD raid with mdadm level0.<br>&gt; &gt;&gt; few days later, ocfs2 became frozen sometimes.<br>&gt; &gt;&gt; I figured out that it happens without TRIM.<br>&gt; &gt;&gt; But, I couldn't TRIM ssd raid because ocfs2 only supports offline TRIM(fstrim) and drbd 8.4.4 only supports online TRIM(discard).<br>&gt; &gt;&gt; Then, HOW CAN I TRIM SSDs on DRBD+OCFS2?<br>&gt; <br>&gt; &gt; Uhm, to the linux block layer (including DRBD), there is no difference<br>&gt; &gt; between what you call "online" or "offline" here.  And whether you call<br>&gt; &gt; it trim or discard or unmap, again, to the linux block layer, it is all<br>&gt; &gt; the same thing.  The differences are implementation details in the low<br>&gt; &gt; level hardware drivers (scsi, fusion, etc.)<br>&gt; <br>&gt; &gt; Did you actually try it?<br>&gt; &gt; What happened?<br>&gt; &gt; Error message?<br>&gt; &gt; Logs?<br>&gt; <br>&gt; &gt; Are you sure your SSD *and* MD properly support and propagate the<br>&gt; &gt; discard capabilities and requests?<br>&gt;<br>&gt; First, ocfs2 doesn't have discard mount option.<br>&gt; It means you have to run FSTRIM for TRIM your ssd devices.<br>&gt; And it actually works.Some other filesystems are supporting automatic TRIM with discard option.(ex. btrfs, ext4 )<br><br>Still, the IO requests generated by whatever you use to do that<br>are the same on the linux block level.<br><br>&gt; Second, you cannot TRIM on DRBD devices with FSTRIM.<br><br>Yes I can.<br><br>&gt; There's a error message:"fitrim ioctl failed operation not supported"<br>&gt; Without DRBD, you can run FSTRIM on any filesystem.<br>&gt; So question is 'How trim filesystem on drbd which doesn't support discard mount option?'<br><br>use fstrim ;-)<br><br>Admittedly, this was not an ocfs2, I just did not have one handy.<br>Still, it proves that fstrim works on top of DRBD.<br><br>mount /dev/drbd0 /mnt/something<br>fstrim -v /mnt/something<br>/mnt/something: 1038696448 bytes were trimmed<br><br>So if that does not work for you, something else is wrong.<br><br>-- <br>: Lars Ellenberg<br>: LINBIT | Your Way to High Availability<br>: DRBD/HA support and consulting <a href="http://www.linbit.com" target="_blank">http://www.linbit.com</a><br><br>DRBD® and LINBIT® are registered trademarks of LINBIT, Austria.<br>__<br>please don't Cc me, but send to list   --   I'm subscribed<br>_______________________________________________<br>drbd-user mailing list<br>drbd-user@lists.linbit.com<br><a href="http://lists.linbit.com/mailman/listinfo/drbd-user" target="_blank">http://lists.linbit.com/mailman/listinfo/drbd-user</a><br><br><br><p>&nbsp;</p></div>

</div>
<table style="display:none"><tr><td><img src="http://mail.naver.com/readReceipt/notify/?img=1Q%2BdbzkrWrwoFrMYarlTKxMXpxuqp4ulaxuZazKXMxgZFxMqpAC0FoJvM6kgMX%2B0MogZ74lR74lcWNFlbX30WLloWrdQar3ZM4tR%2BBF0bvIn1BFdbZln16lS1Bt5MreR.gif" border="0"></td></tr></table>