<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=us-ascii">
<meta name=Generator content="Microsoft Word 12 (filtered medium)">
<style>
<!--
/* Font Definitions */
@font-face
{font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
{margin:0in;
margin-bottom:.0001pt;
font-size:11.0pt;
font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
{mso-style-priority:99;
color:blue;
text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
{mso-style-priority:99;
color:purple;
text-decoration:underline;}
span.EmailStyle17
{mso-style-type:personal-compose;
font-family:"Calibri","sans-serif";
color:windowtext;}
.MsoChpDefault
{mso-style-type:export-only;}
@page Section1
{size:8.5in 11.0in;
margin:1.0in 1.0in 1.0in 1.0in;}
div.Section1
{page:Section1;}
-->
</style>
<!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang=EN-US link=blue vlink=purple>
<div class=Section1>
<p class=MsoNormal>Hello,<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>We are running drbd 8.2.6 on centos 64 bit OS.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>CentOS kernel :<o:p></o:p></p>
<p class=MsoNormal>2.6.18-92.1.6.el5.centos.plus -- x86_64<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Drbd rpms :<o:p></o:p></p>
<p class=MsoNormal>drbd82-8.2.6-1.el5.centos<o:p></o:p></p>
<p class=MsoNormal>kmod-drbd82-8.2.6-1.2.6.18_92.1.6.el5.centos.plus<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>These rpms are provided in the drbd repositories.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Drbd.conf:<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>global {<o:p></o:p></p>
<p class=MsoNormal> usage-count no;<o:p></o:p></p>
<p class=MsoNormal>}<o:p></o:p></p>
<p class=MsoNormal>resource drbd0 {<o:p></o:p></p>
<p class=MsoNormal> protocol C;<o:p></o:p></p>
<p class=MsoNormal> syncer<o:p></o:p></p>
<p class=MsoNormal> {<o:p></o:p></p>
<p class=MsoNormal> rate 600M;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> device /dev/drbd0;<o:p></o:p></p>
<p class=MsoNormal> disk /dev/sda6;<o:p></o:p></p>
<p class=MsoNormal> meta-disk internal;<o:p></o:p></p>
<p class=MsoNormal> on ha42.netenrich.com<o:p></o:p></p>
<p class=MsoNormal> {<o:p></o:p></p>
<p class=MsoNormal> address 192.168.10.42:7789;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal> on ha43.netenrich.com<o:p></o:p></p>
<p class=MsoNormal> {<o:p></o:p></p>
<p class=MsoNormal> address 192.168.10.43:7789;<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal> <o:p></o:p></p>
<p class=MsoNormal> handlers<o:p></o:p></p>
<p class=MsoNormal> {<o:p></o:p></p>
<p class=MsoNormal>
split-brain "/home/bin/ResloveSplitBrain.pl SetSplitBrain";<o:p></o:p></p>
<p class=MsoNormal> }<o:p></o:p></p>
<p class=MsoNormal>}<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>We build HA cluster with two nodes using heartbeat and drbd.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Heartbeat rpms : <o:p></o:p></p>
<p class=MsoNormal>heartbeat-2.1.3-3.el5.centos<o:p></o:p></p>
<p class=MsoNormal>heartbeat-pils-2.1.3-3.el5.centos<o:p></o:p></p>
<p class=MsoNormal>heartbeat-stonith-2.1.3-3.el5.centos <o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><b><u>Issue 1: <o:p></o:p></u></b></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>For long time HA cluster is working fine, But one day we
found that <b>one node is having i-node errors(primary)</b> where <b>other
node is having no i-node errors (secondary).</b><o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Why primary node is giving these errors where as
secondary node is looking fine.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>dmesg output from i-node error box is <o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>______________________________________________________________________________________________<o:p></o:p></p>
<p class=MsoNormal>drbd0: Handshake successful: Agreed network protocol version
88<o:p></o:p></p>
<p class=MsoNormal>drbd0: conn( WFConnection -> WFReportParams ) <o:p></o:p></p>
<p class=MsoNormal>drbd0: Starting asender thread (from drbd0_receiver [3070])<o:p></o:p></p>
<p class=MsoNormal>drbd0: data-integrity-alg: <not-used><o:p></o:p></p>
<p class=MsoNormal>drbd0: peer( Unknown -> Secondary ) conn( WFReportParams
-> WFBitMapT ) pdsk( DUnknown -> UpToDate ) <o:p></o:p></p>
<p class=MsoNormal>drbd0: Writing meta data super block now.<o:p></o:p></p>
<p class=MsoNormal>drbd0: conn( WFBitMapT -> WFSyncUUID ) <o:p></o:p></p>
<p class=MsoNormal>drbd0: helper command: /sbin/drbdadm before-resync-target<o:p></o:p></p>
<p class=MsoNormal>drbd0: conn( WFSyncUUID -> SyncTarget ) disk( UpToDate
-> Inconsistent ) <o:p></o:p></p>
<p class=MsoNormal>drbd0: Began resync as SyncTarget (will sync 6388 KB [1597
bits set]).<o:p></o:p></p>
<p class=MsoNormal>drbd0: Writing meta data super block now.<o:p></o:p></p>
<p class=MsoNormal>drbd0: Resync done (total 1 sec; paused 0 sec; 6388 K/sec)<o:p></o:p></p>
<p class=MsoNormal>drbd0: conn( SyncTarget -> Connected ) disk( Inconsistent
-> UpToDate ) <o:p></o:p></p>
<p class=MsoNormal>drbd0: helper command: /sbin/drbdadm after-resync-target<o:p></o:p></p>
<p class=MsoNormal>drbd0: Writing meta data super block now.<o:p></o:p></p>
<p class=MsoNormal>drbd0: role( Secondary -> Primary ) <o:p></o:p></p>
<p class=MsoNormal>drbd0: Writing meta data super block now.<o:p></o:p></p>
<p class=MsoNormal>kjournald starting. Commit interval 5 seconds<o:p></o:p></p>
<p class=MsoNormal>EXT3 FS on drbd0, internal journal<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs: mounted filesystem with ordered data mode.<o:p></o:p></p>
<p class=MsoNormal>SELinux: initialized (dev drbd0, type ext3), uses xattr<o:p></o:p></p>
<p class=MsoNormal>FS-Cache: Loaded<o:p></o:p></p>
<p class=MsoNormal>FS-Cache: netfs 'nfs' registered for caching<o:p></o:p></p>
<p class=MsoNormal>SELinux: initialized (dev 0:16, type nfs), uses
genfs_contexts<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393660 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>Aborting journal on device drbd0.<o:p></o:p></p>
<p class=MsoNormal>ext3_abort called.<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_journal_start_sb:
Detected aborted journal<o:p></o:p></p>
<p class=MsoNormal>Remounting filesystem read-only<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393660 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393660 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393666 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393668 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393667 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393663 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393665 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393664 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393658 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393660 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393657 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393662 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>printk: 29 messages suppressed.<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393660 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393660 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393666 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393668 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393667 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393663 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393665 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393664 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393658 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393660 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393657 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393662 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>printk: 29 messages suppressed.<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393660 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393660 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode 393666
in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393668 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393667 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393663 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393665 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393664 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393658 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393660 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393657 in dir #394183<o:p></o:p></p>
<p class=MsoNormal>EXT3-fs error (device drbd0): ext3_lookup: unlinked inode
393662 in dir #394183<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><b><u>Issue 2:<o:p></o:p></u></b></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>We are giving a /dev/sda6 partition has a drbd resource and
when both the nodes are in primary/secondary state. We found that in
/dev/sda6 partition one file got corrupted on primary where as on the
secondary it is fine.<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Even though both nodes shows as they are syncing why nodes
are showing different content in the files ?<o:p></o:p></p>
<p class=MsoNormal>Can somebody please throw some light on the above issues
that we are facing.?<o:p></o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal><o:p> </o:p></p>
<p class=MsoNormal>Regards,<o:p></o:p></p>
<p class=MsoNormal>Sunil Varma<o:p></o:p></p>
</div>
</body>
</html>