hi,<br><br>i have two machine with gentoo installed with heartbeat 2.0.7, drbd 8.0.4 and mon<br><br>this setup is made for having a failover environment for a web application (apache2.2 + php + mysql)<br><br>when
mon stop the heartbeat or when i stop the heartbeat the machine is
restarted because the drbd device cannot be setted in secondary mode
<br><br>below are file config for heartbeat and for drbd<br><br>regards,<br>cosmih<br><br><br>/etc/ha.d/ha.cf<br>---------------------<br>debugfile /var/log/ha-debug<br>logfile /var/log/ha-log<br>logfacility&nbsp;&nbsp;&nbsp;&nbsp; local0<br>

keepalive 3<br>deadtime 12<br>warntime 9<br>initdead 20<br>udpport 694<br>baud&nbsp;&nbsp; 38400<br>serial&nbsp; /dev/ttyS0<br>auto_failback off<br>watchdog /dev/watchdog<br>node&nbsp;&nbsp;&nbsp; host01 host02<br>ping gateway_ip<br>respawn cluster /usr/lib/heartbeat/ipfail
<br>crm off<br>---------------------------<br><br>/etc/ha.d/haresources<br>-------------------------------<br>host02
ip1/27/eth1/broadcast ip2/27/eth1/broadcast ip3/27/eth1/broadcast
ip4/27/eth1/broadcast arpUpdate::ip1/ip2/ip3/ip4 drbddisk::mirror
sleep5 Filesystem::/dev/drbd0::<div id="mb_0">/mirror::reiserfs mountFORftp mysql apache2 fcron mon sshd_ip1
<br>------------------------------------<br>where arpUpdate,sleep5,mountFORftp and sshd_ip are some script made by me ... and this script works verry well<br><br>/etc/drbd.conf<br>--------------------<br>global {<br>&nbsp;&nbsp;&nbsp; usage-count no;
<br>}<br>common {<br>&nbsp; syncer { rate 70M; }<br>}<br>resource mirror {<br>&nbsp; protocol C;<br>&nbsp; handlers {<br>&nbsp;&nbsp;&nbsp; pri-on-incon-degr &quot;echo o &gt; /proc/sysrq-trigger ; halt -f&quot;;<br>&nbsp;&nbsp;&nbsp; pri-lost-after-sb &quot;echo o &gt; /proc/sysrq-trigger ; halt -f&quot;;
<br>&nbsp;&nbsp;&nbsp; local-io-error &quot;echo o &gt; /proc/sysrq-trigger ; halt -f&quot;;<br>&nbsp;&nbsp;&nbsp; outdate-peer &quot;/usr/sbin/drbd-peer-outdater&quot;;<br>&nbsp; }<br>&nbsp; startup {<br>&nbsp;&nbsp;&nbsp; wfc-timeout&nbsp; 12;<br>&nbsp;&nbsp;&nbsp; degr-wfc-timeout 120;&nbsp;&nbsp;&nbsp; # 2 minutes.
<br>&nbsp; }<br>&nbsp; disk {<br>&nbsp;&nbsp;&nbsp; on-io-error&nbsp;&nbsp; detach;<br>&nbsp; }<br>&nbsp; net {<br>&nbsp;&nbsp;&nbsp; cram-hmac-alg &quot;md5&quot;;<br>&nbsp;&nbsp;&nbsp; shared-secret &quot;somepass&quot;;<br>&nbsp;&nbsp;&nbsp; after-sb-0pri discard-younger-primary;<br>&nbsp;&nbsp;&nbsp; after-sb-1pri consensus;
<br>&nbsp;&nbsp;&nbsp; after-sb-2pri disconnect;<br>&nbsp;&nbsp;&nbsp; rr-conflict disconnect;<br>&nbsp; }<br>&nbsp; syncer {<br>&nbsp;&nbsp;&nbsp; rate 70M;<br>&nbsp;&nbsp;&nbsp; al-extents 257;<br>&nbsp; }<br>&nbsp; on host01 {<br>&nbsp;&nbsp;&nbsp; device&nbsp;&nbsp;&nbsp;&nbsp; /dev/drbd0;<br>&nbsp;&nbsp;&nbsp; disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/sda7;<br>&nbsp;&nbsp;&nbsp; address&nbsp;&nbsp;&nbsp; 
<a href="http://10.0.0.1:7788/" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">10.0.0.1:7788</a>;<br>&nbsp;&nbsp;&nbsp; meta-disk&nbsp; /dev/sda8[0];<br>&nbsp; }<br>&nbsp; on host02 {<br>&nbsp;&nbsp;&nbsp; device&nbsp;&nbsp;&nbsp; /dev/drbd0;<br>&nbsp;&nbsp;&nbsp; disk&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; /dev/sda7;
<br>&nbsp;&nbsp;&nbsp; address&nbsp;&nbsp; <a href="http://10.0.0.2:7788/" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">10.0.0.2:7788
</a>;<br>&nbsp;&nbsp;&nbsp; meta-disk /dev/sda8[0];<br>&nbsp; }<br>}<br><br><br>here is the ha-debug log (the real IP was replaced)<br>-------------------------------------<br>heartbeat[6522]: 2007/07/03_11:35:54 info: Heartbeat shutdown in progress. (6522)
<br>heartbeat[10706]: 2007/07/03_11:35:54 info: Giving up all HA resources.<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp;
2007/07/03_11:35:54 info: Releasing resource group: host02
ip1/27/eth1/gateway_ip ip2/27/eth1/gateway_ip ip3/27/eth1/gateway_ip
ip4/27/eth1/gateway_ip arpUpdate::ip1/ip2/ip3/ip4 drbddisk::mirror
sleep5 Filesystem::/dev/drbd0::/mirror::reiserfs mountFORftp mysql apache2 fcron mon sshd_ip1
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 info: Running /etc/ha.d/resource.d/sshd_ip1&nbsp; stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 debug: Starting /etc/ha.d/resource.d/sshd_ip1&nbsp; stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 debug: /etc/ha.d/resource.d/sshd_ip1&nbsp; stop done. RC=0
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 info: Running /etc/ha.d/resource.d/mon&nbsp; stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 debug: Starting /etc/ha.d/resource.d/mon&nbsp; stop<br>&nbsp; [32;01m* [0m Stopping mon ...
<br> [A [72C&nbsp;  [34;01m[  [32;01mok [34;01m ] [0m<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 debug: /etc/ha.d/resource.d/mon&nbsp; stop done. RC=0<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 info: Running /etc/ha.d/resource.d/fcron&nbsp; stop
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 debug: Starting /etc/ha.d/resource.d/fcron&nbsp; stop<br>Stopping fcron din heartbeat<br>11:35:54 reinstalling root&#39;s fcrontab<br>11:35:54 installing file /tmp/fcr-rCHC7Y for user root
<br>Modifications will be taken into account right now.<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 debug: /etc/ha.d/resource.d/fcron&nbsp; stop done. RC=0<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 info: Running /etc/ha.d/resource.d/apache2&nbsp; stop
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 debug: Starting /etc/ha.d/resource.d/apache2&nbsp; stop<br>&nbsp; [33;01m* [0m WARNING:&nbsp; apache2 has not yet been started.<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 debug: /etc/ha.d/resource.d/apache2&nbsp; stop done. RC=0
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 info: Running /etc/ha.d/resource.d/mysql&nbsp; stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:54 debug: Starting /etc/ha.d/resource.d/mysql&nbsp; stop<br>&nbsp; [32;01m* [0m Stopping mysql ...
<br>&nbsp; [32;01m* [0m Stopping mysqld (0)<br> [A [72C&nbsp;  [34;01m[  [32;01mok [34;01m ] [0m<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 debug: /etc/ha.d/resource.d/mysql&nbsp; stop done. RC=0<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 info: Running /etc/ha.d/resource.d/mountFORftp&nbsp; stop
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 debug: Starting /etc/ha.d/resource.d/mountFORftp&nbsp; stop<br>Unmounting /home/tony/website &amp; /home/black/website<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 debug: /etc/ha.d/resource.d/mountFORftp&nbsp; stop done. RC=0
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 info: Running /etc/ha.d/resource.d/Filesystem /dev/drbd0 /mirror reiserfs stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 debug: Starting /etc/ha.d/resource.d/Filesystem /dev/drbd0 /mirror reiserfs stop
<br>Filesystem[11147]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 INFO: Running stop for /dev/drbd0 on /mirror<br>Filesystem[11147]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 INFO: Trying to unmount /mirror<br>Filesystem[11147]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 INFO: unmounted /mirror successfully
<br>Filesystem[11083]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 INFO: Filesystem Success<br>INFO: Filesystem Success<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp;
2007/07/03_11:35:57 debug: /etc/ha.d/resource.d/Filesystem /dev/drbd0
/mirror reiserfs stop done. RC=0
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 info: Running /etc/ha.d/resource.d/sleep5&nbsp; stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:35:57 debug: Starting /etc/ha.d/resource.d/sleep5&nbsp; stop<br><br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:02 debug: /etc/ha.d/resource.d/sleep5&nbsp; stop done. RC=0
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:02 info: Running /etc/ha.d/resource.d/drbddisk mirror stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:02 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop<br>State change failed: (-12) Device is held open by someone
<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:02 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:02 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:03 info: Retrying failed stop operation [drbddisk::mirror]<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:03 info: Running /etc/ha.d/resource.d/drbddisk mirror stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:03 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop
<br>State change failed: (-12) Device is held open by someone<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:03 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:03 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:04 info: Retrying failed stop operation [drbddisk::mirror]<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:04 info: Running /etc/ha.d/resource.d/drbddisk mirror stop
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:04 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop<br>State change failed: (-12) Device is held open by someone<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:04 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:04 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk<br>

ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:05 info: Retrying failed stop operation [drbddisk::mirror]<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:05 info: Running /etc/ha.d/resource.d/drbddisk mirror stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:05 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop
<br>State change failed: (-12) Device is held open by someone<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:05 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:05 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:06 info: Retrying failed stop operation [drbddisk::mirror]<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:06 info: Running /etc/ha.d/resource.d/drbddisk mirror stop
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:06 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop<br>State change failed: (-12) Device is held open by someone<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:06 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:06 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk<br>

ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:07 info: Retrying failed stop operation [drbddisk::mirror]<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:07 info: Running /etc/ha.d/resource.d/drbddisk mirror stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:07 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop
<br>State change failed: (-12) Device is held open by someone<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:07 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:07 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:08 info: Retrying failed stop operation [drbddisk::mirror]<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:08 info: Running /etc/ha.d/resource.d/drbddisk mirror stop
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:08 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop<br>State change failed: (-12) Device is held open by someone<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:08 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:08 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk<br>

ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:09 info: Retrying failed stop operation [drbddisk::mirror]<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:09 info: Running /etc/ha.d/resource.d/drbddisk mirror stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:09 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop
<br>State change failed: (-12) Device is held open by someone<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:09 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:09 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:10 info: Retrying failed stop operation [drbddisk::mirror]<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:10 info: Running /etc/ha.d/resource.d/drbddisk mirror stop
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:10 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop<br>State change failed: (-12) Device is held open by someone<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:10 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:10 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk<br>

ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:11 info: Retrying failed stop operation [drbddisk::mirror]<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:11 info: Running /etc/ha.d/resource.d/drbddisk mirror stop<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:11 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop
<br>State change failed: (-12) Device is held open by someone<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:11 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:11 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:12 info: Retrying failed stop operation [drbddisk::mirror]<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:12 info: Running /etc/ha.d/resource.d/drbddisk mirror stop
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:12 debug: Starting /etc/ha.d/resource.d/drbddisk mirror stop<br>State change failed: (-12) Device is held open by someone<br>Command &#39;/sbin/drbdsetup /dev/drbd0 secondary&#39; terminated with exit code 11
<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:13 debug: /etc/ha.d/resource.d/drbddisk mirror stop done. RC=11<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:13 ERROR: Return code 11 from /etc/ha.d/resource.d/drbddisk<br>

ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:13 CRIT: Resource STOP failure. Reboot required!<br>ResourceManager[10716]:&nbsp;&nbsp;&nbsp; 2007/07/03_11:36:13 CRIT: Killing heartbeat ungracefully!<br></div>