<div dir="ltr"><div>Hi,</div><div><br></div><div>Please help me understand what is causing the problem. I have a 2 node cluster running on vms using KVM. Each vm (I am using Ubuntu 14.04) runs on a separate hypervisor on separate machines. All are working well during testing (I restarted the vms alternately), but after a day when I kill the other node, I always end up corosync and pacemaker hangs on the surviving node because drbd timed out. Date and time on the vms are in sync, I use unicast, tcpdump shows both nodes exchanges, confirmed that DRBD is healthy and crm_mon show good status before I kill the other node. Below are my configurations and versions I used:</div><div><br></div><div>corosync             2.3.3-1ubuntu1             </div><div>crmsh                1.2.5+hg1034-1ubuntu3      </div><div>drbd8-utils          2:8.4.4-1ubuntu1           </div><div>libcorosync-common4  2.3.3-1ubuntu1             </div><div>libcrmcluster4       1.1.10+git20130802-1ubuntu2</div><div>libcrmcommon3        1.1.10+git20130802-1ubuntu2</div><div>libcrmservice1       1.1.10+git20130802-1ubuntu2</div><div>pacemaker            1.1.10+git20130802-1ubuntu2</div><div>pacemaker-cli-utils  1.1.10+git20130802-1ubuntu2</div><div>postgresql-9.3       9.3.5-0ubuntu0.14.04.1</div><div><br></div><div># /etc/corosync/corosync:</div><div>totem {</div><div>  version: 2</div><div>  token: 3000</div><div>  token_retransmits_before_loss_const: 10</div><div>  join: 60</div><div>  consensus: 3600</div><div>  vsftype: none</div><div>  max_messages: 20</div><div>  clear_node_high_bit: yes</div><div>  secauth: off</div><div>  threads: 0</div><div>  rrp_mode: none</div><div>  transport: udpu</div><div>  interface {</div><div>    member {</div><div>      memberaddr: 10.2.136.56</div><div>    }</div><div>    member {</div><div>      memberaddr: 10.2.136.57</div><div>    }</div><div>    ringnumber: 0</div><div>    bindnetaddr: 10.2.136.0</div><div>    mcastport: 5405</div><div>  }</div><div>}</div><div>amf {</div><div><span class="" style="white-space:pre">        </span>mode: disabled</div><div>}</div><div>quorum {</div><div><span class="" style="white-space:pre">        </span>provider: corosync_votequorum</div><div>    expected_votes: 2</div><div>    two_node: 1</div><div>}</div><div>aisexec {</div><div>        user:   root</div><div>        group:  root</div><div>}</div><div>logging {</div><div>        fileline: off</div><div>        to_stderr: yes</div><div>        to_logfile: no</div><div>        to_syslog: yes</div><div><span class="" style="white-space:pre">        </span>syslog_facility: daemon</div><div>        debug: off</div><div>        timestamp: on</div><div>        logger_subsys {</div><div>                subsys: AMF</div><div>                debug: off</div><div>                tags: enter|leave|trace1|trace2|trace3|trace4|trace6</div><div>        }</div><div>}</div><div><br></div><div># /etc/corosync/service.d/pcmk:</div><div>service {</div><div>  name: pacemaker</div><div>  ver: 1</div><div>}</div><div><br></div><div>/etc/drbd.d/global_common.conf:</div><div>global {</div><div>  usage-count no;</div><div>}</div><div><br></div><div>common {</div><div>  net {</div><div>    protocol C;</div><div>  }</div><div>}</div><div><br></div><div># /etc/drbd.d/pg.res:</div><div>resource pg {</div><div>  device /dev/drbd0;</div><div>  disk /dev/vdb;</div><div>  meta-disk internal;</div><div>  disk {</div><div>    fencing resource-only;</div><div>    on-io-error detach;</div><div>    resync-rate 40M;</div><div>  }</div><div>    handlers {</div><div>    fence-peer &quot;/usr/lib/drbd/crm-fence-peer.sh&quot;;</div><div>    after-resync-target &quot;/usr/lib/drbd/crm-unfence-peer.sh&quot;;</div><div>  }</div><div>  on node01 {</div><div>    address <a href="http://10.2.136.56:7789">10.2.136.56:7789</a>;</div><div>  }</div><div>  on node02 {</div><div>    address <a href="http://10.2.136.57:7789">10.2.136.57:7789</a>;</div><div>  }</div><div>  net {</div><div>    verify-alg md5;</div><div>    after-sb-0pri discard-zero-changes;</div><div>    after-sb-1pri discard-secondary;</div><div>    after-sb-2pri disconnect;</div><div>  }</div><div>}</div><div><br></div><div># Pacemaker configuration:</div><div>node $id=&quot;167938104&quot; node01</div><div>node $id=&quot;167938105&quot; node02</div><div>primitive drbd_pg ocf:linbit:drbd \</div><div><span class="" style="white-space:pre">        </span>params drbd_resource=&quot;pg&quot; \</div><div><span class="" style="white-space:pre">        </span>op monitor interval=&quot;29s&quot; role=&quot;Master&quot; \</div><div><span class="" style="white-space:pre">        </span>op monitor interval=&quot;31s&quot; role=&quot;Slave&quot;</div><div>primitive fs_pg ocf:heartbeat:Filesystem \</div><div><span class="" style="white-space:pre">        </span>params device=&quot;/dev/drbd0&quot; directory=&quot;/var/lib/postgresql/9.3/main&quot; fstype=&quot;ext4&quot;</div><div>primitive ip_pg ocf:heartbeat:IPaddr2 \</div><div><span class="" style="white-space:pre">        </span>params ip=&quot;10.2.136.59&quot; cidr_netmask=&quot;24&quot; nic=&quot;eth0&quot;</div><div>primitive lsb_pg lsb:postgresql</div><div>group PGServer fs_pg lsb_pg ip_pg</div><div>ms ms_drbd_pg drbd_pg \</div><div><span class="" style="white-space:pre">        </span>meta master-max=&quot;1&quot; master-node-max=&quot;1&quot; clone-max=&quot;2&quot; clone-node-max=&quot;1&quot; notify=&quot;true&quot;</div><div>colocation pg_on_drbd inf: PGServer ms_drbd_pg:Master</div><div>order pg_after_drbd inf: ms_drbd_pg:promote PGServer:start</div><div>property $id=&quot;cib-bootstrap-options&quot; \</div><div><span class="" style="white-space:pre">        </span>dc-version=&quot;1.1.10-42f2063&quot; \</div><div><span class="" style="white-space:pre">        </span>cluster-infrastructure=&quot;corosync&quot; \</div><div><span class="" style="white-space:pre">        </span>stonith-enabled=&quot;false&quot; \</div><div><span class="" style="white-space:pre">        </span>no-quorum-policy=&quot;ignore&quot;</div><div>rsc_defaults $id=&quot;rsc-options&quot; \</div><div><span class="" style="white-space:pre">        </span>resource-stickiness=&quot;100&quot;</div><div><br></div><div># Logs on node01</div><div>node01 crmd[1019]:   notice: peer_update_callback: Our peer on the DC is dead</div><div>node01 crmd[1019]:   notice: do_state_transition: State transition S_NOT_DC -&gt; S_ELECTION [ input=I_ELECTION cause=C_CRMD_STATUS_CALLBACK origin=peer_update_callback ]</div><div>node01 crmd[1019]:   notice: do_state_transition: State transition S_ELECTION -&gt; S_INTEGRATION [ input=I_ELECTION_DC cause=C_FSA_INTERNAL origin=do_election_check ]</div><div>node01 corosync[940]:   [TOTEM ] A new membership (<a href="http://10.2.136.56:52">10.2.136.56:52</a>) was formed. Members left: 167938105</div><div>node01 kernel: [74452.740024] d-con pg: PingAck did not arrive in time.</div><div>node01 kernel: [74452.740169] d-con pg: peer( Primary -&gt; Unknown ) conn( Connected -&gt; NetworkFailure ) pdsk( UpToDate -&gt; DUnknown ) </div><div>node01 kernel: [74452.740987] d-con pg: asender terminated</div><div>node01 kernel: [74452.740999] d-con pg: Terminating drbd_a_pg</div><div>node01 kernel: [74452.741235] d-con pg: Connection closed</div><div>node01 kernel: [74452.741259] d-con pg: conn( NetworkFailure -&gt; Unconnected ) </div><div>node01 kernel: [74452.741260] d-con pg: receiver terminated</div><div>node01 kernel: [74452.741261] d-con pg: Restarting receiver thread</div><div>node01 kernel: [74452.741262] d-con pg: receiver (re)started</div><div>node01 kernel: [74452.741269] d-con pg: conn( Unconnected -&gt; WFConnection ) </div><div>node01 lrmd[1016]:  warning: child_timeout_callback: drbd_pg_monitor_31000 process (PID 8445) timed out</div><div>node01 lrmd[1016]:  warning: operation_finished: drbd_pg_monitor_31000:8445 - timed out after 20000ms</div><div>node01 crmd[1019]:    error: process_lrm_event: LRM operation drbd_pg_monitor_31000 (30) Timed Out (timeout=20000ms)</div><div>node01 crmd[1019]:  warning: cib_rsc_callback: Resource update 23 failed: (rc=-62) Timer expired</div><div>node01 lrmd[1016]:  warning: child_timeout_callback: drbd_pg_monitor_31000 process (PID 8693) timed out</div><div>node01 lrmd[1016]:  warning: operation_finished: drbd_pg_monitor_31000:8693 - timed out after 20000ms</div><div>node01 lrmd[1016]:  warning: child_timeout_callback: drbd_pg_monitor_31000 process (PID 8938) timed out</div><div>node01 lrmd[1016]:  warning: operation_finished: drbd_pg_monitor_31000:8938 - timed out after 20000ms</div><div>node01 crmd[1019]:    error: crm_timer_popped: Integration Timer (I_INTEGRATED) just popped in state S_INTEGRATION! (180000ms)</div><div>node01 crmd[1019]:  warning: do_state_transition: Progressed to state S_FINALIZE_JOIN after C_TIMER_POPPED</div><div>node01 crmd[1019]:  warning: do_state_transition: 1 cluster nodes failed to respond to the join offer.</div><div>node01 crmd[1019]:   notice: crmd_join_phase_log: join-1: node02=none</div><div>node01 crmd[1019]:   notice: crmd_join_phase_log: join-1: node01=welcomed</div><div>node01 lrmd[1016]:  warning: child_timeout_callback: drbd_pg_monitor_31000 process (PID 9185) timed out</div><div>node01 lrmd[1016]:  warning: operation_finished: drbd_pg_monitor_31000:9185 - timed out after 20000ms</div><div>node01 lrmd[1016]:  warning: child_timeout_callback: drbd_pg_monitor_31000 process (PID 9432) timed out</div><div>node01 lrmd[1016]:  warning: operation_finished: drbd_pg_monitor_31000:9432 - timed out after 20000ms</div><div>node01 lrmd[1016]:  warning: child_timeout_callback: drbd_pg_monitor_31000 process (PID 9680) timed out</div><div>node01 lrmd[1016]:  warning: operation_finished: drbd_pg_monitor_31000:9680 - timed out after 20000ms</div><div>node01 lrmd[1016]:  warning: child_timeout_callback: drbd_pg_monitor_31000 process (PID 9927) timed out</div><div>node01 lrmd[1016]:  warning: operation_finished: drbd_pg_monitor_31000:9927 - timed out after 20000ms</div><div>node01 lrmd[1016]:  warning: child_timeout_callback: drbd_pg_monitor_31000 process (PID 10174) timed out</div><div>node01 lrmd[1016]:  warning: operation_finished: drbd_pg_monitor_31000:10174 - timed out after 20000ms</div><div><br></div><div>#crm_mon on node01 before I kill the other vm:</div><div>Stack: corosync</div><div>Current DC: node02 (167938104) - partition with quorum</div><div>Version: 1.1.10-42f2063</div><div>2 Nodes configured</div><div>5 Resources configured</div><div><br></div><div>Online: [ node01 node02 ]</div><div><br></div><div> Resource Group: PGServer</div><div>     fs_pg      (ocf::heartbeat:Filesystem):    Started node02</div><div>     lsb_pg     (lsb:postgresql):       Started node02</div><div>     ip_pg      (ocf::heartbeat:IPaddr2):       Started node02</div><div> Master/Slave Set: ms_drbd_pg [drbd_pg]</div><div>     Masters: [ node02 ]</div><div>     Slaves: [ node01 ]</div><div><br></div><div>Thank you,</div><div>Kiam</div></div>