<div style="line-height:1.7;color:#000000;font-size:14px;font-family:Arial"><div><br>Today I can tell you is just the following,<br><span style="background-color: rgb(255, 0, 0);"><b>OS:&nbsp; </b></span>CentOS 7.2</div><div><span style="background-color: rgb(255, 0, 0);"><b>DRBD9 resource file content:</b></span><br>resource r0 {<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; device minor 1;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; meta-disk internal;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; on drbd.node102 {<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disk /dev/ram0;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; address 192.168.56.102:7789;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; node-id 2;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; on drbd.node101{<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disk /dev/ram0;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; address 192.168.56.101:7789;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; node-id 1;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; on drbd.node103{<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; disk /dev/ram0;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; address 192.168.56.103:7789;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; node-id 3;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; connection{<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; host&nbsp; drbd.node102 port 7789;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; host&nbsp; drbd.node101 port 7789;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; connection{<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; host drbd.node102 port 7789;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; host drbd.node103 port 7789;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; connection{<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; host drbd.node101 port 7789;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; host drbd.node103 port 7789;<br>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; }</div><div>&nbsp;}</div><div><span style="background-color: rgb(255, 0, 0);"><b>the output for the error</b></span>(sorry, I can't give you the complete output message today. If the error message is not enough, I will sent you another email about the complete output message):<br>Sep 23 04:00:16 drbd lrmd[6057]:&nbsp; notice: WebData_start_0:6093:stderr [ 'r0' is a normal resource, and not available in stacked mode. ]<br>&nbsp;Sep 23 04:00:16 drbd lrmd[6057]:&nbsp; notice: WebData_start_0:6093:stderr [ 'r0' is a normal resource, and not available in stacked mode. ]<br>&nbsp;Sep 23 04:00:16 drbd crmd[6060]:&nbsp;&nbsp; error: Result of start operation for WebData on drbd.node102: Timed Out | call=7 key=WebData_start_0 timeout=240000ms<br>&nbsp;Sep 23 04:00:16 drbd crmd[6060]:&nbsp; notice: drbd.node102-WebData_start_0:7 [ 'r0' is a normal resource, and not available in stacked mode.\n'r0' is a normal resource, and not available in stacked mode.\n'r0' is a normal resource, and not available in stacked mode.\n'r0' is a normal resource, and not available in stacked mode.\n'r0' is a normal resource, and not available in stacked mode.\n'r0' is a normal resource, and not available in stacked mode.\n'r0' is a normal resource, and not available in stacked mode.\n'r0' is a normal resource,<br>&nbsp;Sep 23 04:00:16 drbd lrmd[6057]:&nbsp; notice: WebData_notify_0:7894:stderr [ 'r0' is a normal resource, and not available in stacked mode. ]</div><div><br></div><div><span style="background-color: rgb(255, 0, 0);"><b>pacemaker1.1.15 + corosync2.3.5:</b></span></div><div>According to chapter 7.6 &lt;Configure the Cluster for the DRBD device <br>&gt; of &lt;<a href="http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf">http://www.clusterlabs.org/doc/Cluster_from_Scratch.pdf</a>&gt;, the drbd resource is configured as:<br>[root@pcmk-1 ~]# pcs -f drbd_cfg resource create WebData ocf:linbit:drbd \&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </div><div>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;drbd_resource=wwwdata op monitor interval=60s</div><div>&nbsp;[root@pcmk-1 ~]# pcs -f drbd_cfg resource master WebDataClone WebData \&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </div><div>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 \&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </div><div>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;notify=true <br><span style="background-color: rgb(255, 0, 0);">ps:We have no filesystem on the DRBD device.</span></div><div><br></div><pre><br>At 2016-09-24 22:43:52, "Digimer" &lt;lists@alteeve.ca&gt; wrote:
&gt;On 23/09/16 05:16 AM, mzlld1988 wrote:
&gt;&gt; Hello, everyone
&gt;&gt; 
&gt;&gt; I have a question about using DRBD9 with pacemaker 1.1.15 .
&gt;&gt; 
&gt;&gt; Does DRBD9 can be used in pacemaker£¿
&gt;
&gt;Yes
&gt;
&gt;&gt; Why do my cluster can't start drbd?
&gt;&gt; 
&gt;&gt; Error message:
&gt;&gt; "r0 is a normal resource , and not available in stacked mode."
&gt;
&gt;You will need to tell us more about your setup. What OS? What are the
&gt;pacemaker and DRBD configurations? Show the complete log output from
&gt;both nodes (starting from just before you tried to start until a little
&gt;after it failed, from both/all nodes).
&gt;
&gt;-- 
&gt;Digimer
&gt;Papers and Projects: https://alteeve.ca/w/
&gt;What if the cure for cancer is trapped in the mind of a person without
&gt;access to education?
</pre></div><br><br><span title="neteasefooter"><p>&nbsp;</p></span>