<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40"><head><meta http-equiv=Content-Type content="text/html; charset=iso-8859-1"><meta name=Generator content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
p.MsoAcetate, li.MsoAcetate, div.MsoAcetate
        {mso-style-priority:99;
        mso-style-link:"Texte de bulles Car";
        margin:0cm;
        margin-bottom:.0001pt;
        font-size:8.0pt;
        font-family:"Tahoma","sans-serif";}
span.TextedebullesCar
        {mso-style-name:"Texte de bulles Car";
        mso-style-priority:99;
        mso-style-link:"Texte de bulles";
        font-family:"Tahoma","sans-serif";}
span.EmailStyle19
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
span.EmailStyle20
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:70.85pt 70.85pt 70.85pt 70.85pt;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]--></head><body lang=FR link=blue vlink=purple><div class=WordSection1><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Well, thinking about it, the only conclusion that I can honestly make after this instrumentation is that $id_prefix is effectively incorrect when entering fence_peer_init()  and doesn&#8217;t permit to remove the fence rule then, but in no case fence_peer_init() seems faulty, it just does what he has to with the parameter he&#8217;s given.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Back to the starting point&#8230;<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>To keep investigating further and may be save some time, does anybody know where id_prefix value is set up ? within DRBD code itself I guess ? If it&#8217;s the DRBD code that manages resync, it&#8217;s probably also it that can trigger cleanup actions afterwards, right ?<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>In any case, I have to work a bit more before bothering you guys, especially when my config is a good mess at the moment, being only partially updated, one foot in a version, the other in another. Plus, I just have identified that my resource agents are not exactly the same version on both nodes, the rest of the cluster stack being identical. <o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>If someone has any advice or idea, he&#8217;s welcome!<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Regards,<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'>Pascal.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='color:#1F497D'><o:p>&nbsp;</o:p></span></p><div><div style='border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0cm 0cm 0cm'><p class=MsoNormal><b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'>De&nbsp;:</span></b><span style='font-size:10.0pt;font-family:"Tahoma","sans-serif"'> drbd-user-bounces@lists.linbit.com [mailto:drbd-user-bounces@lists.linbit.com] <b>De la part de</b> Pascal BERTON<br><b>Envoyé&nbsp;:</b> dimanche 24 février 2013 11:24<br><b>À&nbsp;:</b> drbd-user@lists.linbit.com<br><b>Objet&nbsp;:</b> [DRBD-user] drbd 8.3.15 - crm_fence_peer.sh - problem in fence_peer_init()<o:p></o:p></span></p></div></div><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal>Guys,<o:p></o:p></p><p class=MsoNormal><o:p>&nbsp;</o:p></p><p class=MsoNormal><span lang=EN-US>I&#8217;m currently updating a Pacemaker+drbd+scst cluster from drbd-8.3.12 to drbd-8.3.15, and I found something odd regarding unfencing. Basic symptom is that unfencing does nothing, cluster logs report unfencing had been done, but in reality nothing has occurred.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>For instance here&#8217;s the rule I&#8217;ve got in my CIB after volume teardown :<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>location drbd-fence-by-handler-ms-rdmVDR ms-rdmVDR \<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; rule $id=&quot;drbd-fence-by-handler-rule-ms-rdmVDR&quot; $role=&quot;Master&quot; -inf: #uname ne ipstore21<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>Now, I have instrumented the </span><span lang=EN-US style='font-family:"Courier New"'>fence_peer_init()</span><span lang=EN-US> function within </span><span lang=EN-US style='font-family:"Courier New"'>crm_fence_peer.sh</span><span lang=EN-US> script as follows :<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>fence_peer_init()<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>{<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; # we know which instance we are: $OCF_RESOURCE_INSTANCE.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>&#8230;<o:p></o:p></span></p><p class=MsoNormal><b><span lang=EN-US style='font-family:"Courier New";color:#0070C0'>echo &quot;fence_peer_init() :&quot; &gt;&gt; /var/log/unfence.log<o:p></o:p></span></b></p><p class=MsoNormal><b><span lang=EN-US style='font-family:"Courier New";color:#0070C0'>echo &quot;===== $id_prefix =====&quot; &gt;&gt; /var/log/unfence.log<o:p></o:p></span></b></p><p class=MsoNormal><b><span lang=EN-US style='font-family:"Courier New";color:#0070C0'>echo &quot;===== $master_id =====&quot; &gt;&gt; /var/log/unfence.log<o:p></o:p></span></b></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; have_constraint=$(set +x; echo &quot;$cib_xml&quot; |<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; sed_rsc_location_suitable_for_string_compare &quot;$id_prefix-$master_id&quot;)<o:p></o:p></span></p><p class=MsoNormal><b><span lang=EN-US style='font-family:"Courier New";color:#0070C0'>echo &quot;===== $have_constraint =====&quot; &gt;&gt; /var/log/unfence.log<o:p></o:p></span></b></p><p class=MsoNormal><b><span lang=EN-US style='font-family:"Courier New";color:#0070C0'>echo &quot;End of fence_peer_init()&quot; &gt;&gt; /var/log/unfence.log<o:p></o:p></span></b></p><p class=MsoNormal><b><span lang=EN-US style='font-family:"Courier New";color:#0070C0'>echo &gt;&gt; /var/log/unfence.log<o:p></o:p></span></b></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; return 0<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>}<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>When resync finishes, here&#8217;s what I get in my logfile :<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>fence_peer_init() :<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>===== drbd-fence-by-handler-rdmVDR =====<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>===== ms-rdmVDR =====<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>=====&nbsp; =====<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US style='font-family:"Courier New"'>End of fence_peer_init()<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>As a result, it searches a location rule named </span><span lang=EN-US style='font-family:"Courier New"'>drbd-fence-by-handler-rdmVDR-ms-rdmVDR</span><span lang=EN-US> for deletion that effectively doesn&#8217;t exists in the CIB and </span><span lang=EN-US style='font-family:"Courier New"'>have_constraint</span><span lang=EN-US> returns empty&#8230;<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>I&#8217;ve compared to 8.3.12 version of the script which used to work, and there seems to have some changes&#8230;<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US>I will unfence by hand in the meantime but I think it requires some fix, right ?<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>Regards,<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p><p class=MsoNormal><span lang=EN-US>Pascal.<o:p></o:p></span></p><p class=MsoNormal><span lang=EN-US><o:p>&nbsp;</o:p></span></p></div></body></html>