<div dir="ltr"><div>Hi,</div><div><br></div><div>We have a fairly standard setup with 4 nodes, 1 primary and 3 secondary (2 geo clusters (of 2 nodes each)). </div><div>The setup uses LVM volumes as drbd lower devices. All is managed by pacemaker using linbit &amp; pacemaker ocf resources.</div><div><br></div><div>DRBD kernel version is 9.1.5. Util is 9.20.2.<br></div><div>I must say we deploy on AWS nodes, using EBS for block devices.</div><div><br></div><div>Once DRBD is promoted active a mount is created in active node (this is managed by ocf Filesystem agent). The FS is of type XFS.</div><div> </div><div>Sometimes (1/30 maybe, after making failovers between the geo clusters, so having the primary devices swapped), we observed an error on the Filesystem OCF agent: </div><div>       <b>stderr [ mount: mount /dev/drbd0 on /mnt/audio failed: Resource temporarily unavailable</b></div><div><b><br></b></div>This happen even if DRBD is promoted primary. I dump the logs. Anyone know what could be the reason? If some verbose can be activated we could do it,<br><br>regards<div><br></div>Mar 13 09:59:18 ip-172-31-12-232 kernel: drbd audiodata: role( Secondary -&gt; Primary )<br>Mar 13 09:59:18 ip-172-31-12-232 kernel: drbd audiodata: Preparing cluster-wide state change 2445677710 (1-&gt;3 499/145)<br>Mar 13 09:59:18 ip-172-31-12-232 crmd[1571]:  notice: Result of promote operation for audiodata on ip-172-31-12-232: 0 (ok)<br>Mar 13 09:59:18 ip-172-31-12-232 crmd[1571]:  notice: Initiating notify operation audiodata_post_notify_promote_0 on ip-172-31-12-173<br>Mar 13 09:59:18 ip-172-31-12-232 kernel: drbd audiodata ip-172-31-12-173: Aborting local state change 2445677710 to yield to remote state change 1509202161.<br>Mar 13 09:59:20 ip-172-31-12-232 kernel: drbd audiodata: Aborting cluster-wide state change 2445677710 (2054ms) rv = -19<br>Mar 13 09:59:20 ip-172-31-12-232 kernel: drbd audiodata ip-172-31-12-173: Preparing remote state change 1509202161<br>Mar 13 09:59:20 ip-172-31-12-232 kernel: drbd audiodata ip-172-31-12-173: Aborting remote state change 1509202161<br>Mar 13 09:59:20 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-173: repl( WFBitMapS -&gt; SyncSource )<br>Mar 13 09:59:20 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-173: Began resync as SyncSource (will sync 2076 KB [519 bits set]).<br>Mar 13 09:59:20 ip-172-31-12-232 kernel: drbd audiodata: Preparing cluster-wide state change 522239102 (1-&gt;3 499/145)<br>Mar 13 09:59:21 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-56: drbd_sync_handshake:<br>Mar 13 09:59:21 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-56: self 9141832129BF9D9C:0000000000000000:FCAD090A6554F6EA:0000000000000000 bits:0 flags:20<br>Mar 13 09:59:21 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-56: peer 9141832129BF9D9C:0000000000000000:FCAD090A6554F6EA:0000000000000000 bits:0 flags:1120<br>Mar 13 09:59:21 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-56: uuid_compare()=no-sync by rule=lost-quorum<br>Mar 13 09:59:21 ip-172-31-12-232 kernel: drbd audiodata ip-172-31-12-173: Aborting local state change 522239102 to yield to remote state change 2672355414.<br>Mar 13 09:59:21 ip-172-31-12-232 kernel: drbd audiodata: Aborting cluster-wide state change 522239102 (96ms) rv = -19<br>Mar 13 09:59:21 ip-172-31-12-232 kernel: drbd audiodata ip-172-31-12-173: Preparing remote state change 2672355414<br>Mar 13 09:59:21 ip-172-31-12-232 awsvip(audio-awsalias)[8149]: INFO: secondary_private_ip has been successfully brought up (172.31.12.90)<br>Mar 13 09:59:21 ip-172-31-12-232 crmd[1571]:  notice: Result of start operation for audio-awsalias on ip-172-31-12-232: 0 (ok)<br>Mar 13 09:59:21 ip-172-31-12-232 crmd[1571]:  notice: Initiating notify operation audiodata_post_notify_promote_0 locally on ip-172-31-12-232<br>Mar 13 09:59:21 ip-172-31-12-232 crmd[1571]:  notice: Result of notify operation for audiodata on ip-172-31-12-232: 0 (ok)<br>Mar 13 09:59:21 ip-172-31-12-232 pengine[1570]:  notice:  * Start      audio-fs                 (                     ip-172-31-12-232 )<br>Mar 13 09:59:21 ip-172-31-12-232 pengine[1570]:  notice:  * Start      audio-cleanup            (                     ip-172-31-12-232 )<br>Mar 13 09:59:21 ip-172-31-12-232 pengine[1570]:  notice:  * Start      audio-nginx              (                     ip-172-31-12-232 )<br>Mar 13 09:59:21 ip-172-31-12-232 crmd[1571]:  notice: Initiating monitor operation audiodata_monitor_5000 on ip-172-31-12-173<br>Mar 13 09:59:21 ip-172-31-12-232 crmd[1571]:  notice: Initiating start operation audio-fs_start_0 locally on ip-172-31-12-232<br>Mar 13 09:59:21 ip-172-31-12-232 crmd[1571]:  notice: Initiating monitor operation audio-awsalias_monitor_5000 locally on ip-172-31-12-232<br>Mar 13 09:59:22 ip-172-31-12-232 Filesystem(audio-fs)[8661]: INFO: Running start for /dev/drbd0 on /mnt/audio<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata ip-172-31-12-173: Aborting remote state change 2672355414<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata: Preparing cluster-wide state change 145509007 (1-&gt;3 499/145)<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-56: drbd_sync_handshake:<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-56: self 9141832129BF9D9C:0000000000000000:FCAD090A6554F6EA:0000000000000000 bits:0 flags:20<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-56: peer 9141832129BF9D9C:0000000000000000:FCAD090A6554F6EA:0000000000000000 bits:0 flags:1120<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-56: uuid_compare()=no-sync by rule=lost-quorum<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata ip-172-31-12-173: Aborting local state change 145509007 to yield to remote state change 1845370428.<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata: Aborting cluster-wide state change 145509007 (91ms) rv = -19<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata ip-172-31-12-173: Preparing remote state change 1845370428<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-173: updated UUIDs 9141832129BF9D9C:0000000000000000:4C4977DFD426BCE0:FCAD090A6554F6EA<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-173: Resync done (total 2 sec; paused 0 sec; 1036 K/sec)<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata/0 drbd0 ip-172-31-12-173: pdsk( Inconsistent -&gt; UpToDate ) repl( SyncSource -&gt; Established )<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata ip-172-31-12-173: helper command: /sbin/drbdadm unfence-peer<br>Mar 13 09:59:23 ip-172-31-12-232 kernel: drbd audiodata ip-172-31-12-173: helper command: /sbin/drbdadm unfence-peer exit code 0<br><span style="background-color:rgb(255,0,0)">Mar 13 09:59:25 ip-172-31-12-232 Filesystem(audio-fs)[8661]: ERROR: Couldn&#39;t mount device [/dev/drbd0] as /mnt/audio</span><br><div><span style="background-color:rgb(255,0,0)">Mar 13 09:59:25 ip-172-31-12-232 lrmd[1568]:  notice: audio-fs_start_0:8661:stderr [ mount: mount /dev/drbd0 on /mnt/audio failed: Resource temporarily unavailable ]<br>Mar 13 09:59:25 ip-172-31-12-232 lrmd[1568]:  notice: audio-fs_start_0:8661:stderr [ ocf-exit-reason:Couldn&#39;t mount device [/dev/drbd0] as /mnt/audio ]</span><br></div></div>