<div dir="ltr"><div>The resource drbd02 is just now down between drbd02 and drbd03. Where can i review the more logs?? Thanks in advance</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font face="monospace">Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02 drbd03: meta connection shut down by peer.<br>Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02 drbd03: conn( Connected -&gt; NetworkFailure ) peer( Secondary -&gt; Unknown )<br>Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02/1 drbd8 drbd03: pdsk( Diskless -&gt; DUnknown ) repl( Established -&gt; Off )<br>Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02 drbd03: ack_receiver terminated<br>Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02 drbd03: Terminating ack_recv thread<br>Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02 drbd03: sock was shut down by peer<br>Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02 drbd03: Restarting sender thread<br>Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02 drbd03: Connection closed<br>Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02 drbd03: conn( NetworkFailure -&gt; Unconnected )<br>Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02 drbd03: Restarting receiver thread<br>Jul 23 10:05:57 drbd02 kernel: drbd MIGRA02 drbd03: conn( Unconnected -&gt; Connecting )<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Handshake to peer 2 successful: Agreed network protocol version 117<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Feature flags enabled on protocol level: 0xf TRIM THIN_RESYNC WRITE_SAME WRITE_ZEROES.<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Starting ack_recv thread (from drbd_r_MIGRA02 [2695])<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02: Preparing cluster-wide state change 1863242544 (1-&gt;2 499/145)<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02: Declined by peer drbd01 (id: 0), see the kernel log there<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02: Aborting cluster-wide state change 1863242544 (19ms) rv = -10<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Failure to connect; retrying<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: conn( Connecting -&gt; NetworkFailure )<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: ack_receiver terminated<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Terminating ack_recv thread<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Restarting sender thread<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Connection closed<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: conn( NetworkFailure -&gt; Unconnected )<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Restarting receiver thread<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: conn( Unconnected -&gt; Connecting )<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Handshake to peer 2 successful: Agreed network protocol version 117<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Feature flags enabled on protocol level: 0xf TRIM THIN_RESYNC WRITE_SAME WRITE_ZEROES.<br>Jul 23 10:05:58 drbd02 kernel: drbd MIGRA02 drbd03: Starting ack_recv thread (from drbd_r_MIGRA02 [2695])<br>Jul 23 10:05:59 drbd02 kernel: drbd MIGRA02: Preparing cluster-wide state change 1892110034 (1-&gt;2 499/145)<br>Jul 23 10:05:59 drbd02 kernel: drbd MIGRA02: Declined by peer drbd01 (id: 0), see the kernel log there<br>Jul 23 10:05:59 drbd02 kernel: drbd MIGRA02: Aborting cluster-wide state change 1892110034 (0ms) rv = -10<br>Jul 23 10:05:59 drbd02 kernel: drbd MIGRA02 drbd03: Failure to connect; retrying<br>Jul 23 10:05:59 drbd02 kernel: drbd MIGRA02 drbd03: conn( Connecting -&gt; NetworkFailure )</font></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">.......... </blockquote></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">El jue., 23 jul. 2020 a las 9:19, Juan Sevilla (&lt;<a href="mailto:juan.sevilla.11@gmail.com">juan.sevilla.11@gmail.com</a>&gt;) escribió:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Hi,<div><br></div><div>My configuration is this:</div><div><br></div><div>A) Node drbd01: primary all</div><div><br></div><div>B) Node drbd02: primary all</div><div><br></div><div>C) Node drbd03: secondary all, diskless, for quorum proposal.</div><div><br></div><div>Initially all run correctly, but after various hours the sync between drbd nodes is lost, in spite of the connections (ping) on the networks is ok.</div><div><br></div><div>Some times, the witness (node drbd03) appears &quot;connecting&quot; to drbd01, another times is the node drbd02, etc. My OS is RHEL 7, and firewalld is stopped and disabled, also SELinux is disabled...</div><div><br></div><div>What could be happening?</div><div><br></div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><font face="monospace">[root@drbd01 drbd.d]# uname -a<br>Linux drbd01 3.10.0-1127.el7.x86_64 #1 SMP Tue Mar 31 23:36:51 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux<br>[root@drbd01 drbd.d]#<br>[root@drbd01 drbd.d]# cat global_common.conf<br>global {<br>        usage-count no;<br>        udev-always-use-vnr;<br>}<br>common {<br>        handlers {<br>        }<br>        startup {<br>        }<br>        options {<br>         quorum majority;<br>#         on-no-quorum io-error;<br>#         quorum-minimum-redundancy 1;<br>        }<br>        disk {<br>        }<br>        net {<br>          verify-alg crc32c;<br>        }<br>}<br>[root@drbd01 drbd.d]# cat *.res |more<br>resource DATA01 {<br>        volume 1 {<br>        disk /dev/sdf;<br>        device /dev/drbd4;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7791" target="_blank">10.10.10.1:7791</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7791" target="_blank">10.10.10.2:7791</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7791" target="_blank">10.10.10.3:7791</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br><br>resource DATA02 {<br>        volume 1 {<br>        disk /dev/sdg;<br>        device /dev/drbd5;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7792" target="_blank">10.10.10.1:7792</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7792" target="_blank">10.10.10.2:7792</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7792" target="_blank">10.10.10.3:7792</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br><br>resource DATA03 {<br>        volume 1 {<br>        disk /dev/sdh;<br>        device /dev/drbd6;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7793" target="_blank">10.10.10.1:7793</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7793" target="_blank">10.10.10.2:7793</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7793" target="_blank">10.10.10.3:7793</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br><br>resource GIMR01 {<br>        volume 1 {<br>        disk /dev/sde;<br>        device /dev/drbd3;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7790" target="_blank">10.10.10.1:7790</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7790" target="_blank">10.10.10.2:7790</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7790" target="_blank">10.10.10.3:7790</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br>resource MIGRA01 {<br>        volume 1 {<br>        disk /dev/sdi;<br>        device /dev/drbd7;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7794" target="_blank">10.10.10.1:7794</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7794" target="_blank">10.10.10.2:7794</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7794" target="_blank">10.10.10.3:7794</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br><br>resource MIGRA02 {<br>        volume 1 {<br>        disk /dev/sdj;<br>        device /dev/drbd8;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7795" target="_blank">10.10.10.1:7795</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7795" target="_blank">10.10.10.2:7795</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7795" target="_blank">10.10.10.3:7795</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br><br>resource MIGRA03 {<br>        volume 1 {<br>        disk /dev/sdk;<br>        device /dev/drbd9;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7796" target="_blank">10.10.10.1:7796</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7796" target="_blank">10.10.10.2:7796</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7796" target="_blank">10.10.10.3:7796</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br><br>resource MIGRA04 {<br>        volume 1 {<br>        disk /dev/sdl;<br>        device /dev/drbd10;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7797" target="_blank">10.10.10.1:7797</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7797" target="_blank">10.10.10.2:7797</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7797" target="_blank">10.10.10.3:7797</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br><br>resource OCR01 {<br>        volume 1 {<br>        disk /dev/sdb;<br>        device /dev/drbd0;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7787" target="_blank">10.10.10.1:7787</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7787" target="_blank">10.10.10.2:7787</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7787" target="_blank">10.10.10.3:7787</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br>resource OCR02 {<br>        volume 1 {<br>        disk /dev/sdc;<br>        device /dev/drbd1;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7788" target="_blank">10.10.10.1:7788</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7788" target="_blank">10.10.10.2:7788</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7788" target="_blank">10.10.10.3:7788</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br><br>resource OCR03 {<br>        volume 1 {<br>        disk /dev/sdd;<br>        device /dev/drbd2;<br>        meta-disk internal;<br>        }<br>        on drbd01 {<br>                address <a href="http://10.10.10.1:7789" target="_blank">10.10.10.1:7789</a>;<br>                node-id 0;<br>        }<br>        on drbd02 {<br>                address <a href="http://10.10.10.2:7789" target="_blank">10.10.10.2:7789</a>;<br>                node-id 1;<br>        }<br>        on drbd03 {<br>                address <a href="http://10.10.10.3:7789" target="_blank">10.10.10.3:7789</a>;<br>                node-id 2;<br>                volume 1 {<br>                disk none;<br>                }<br><br><br>        }<br>        connection-mesh {<br>                hosts drbd01 drbd02 drbd03;<br>                net {<br>                        protocol C;<br>                        allow-two-primaries yes;<br>                }<br>        }<br><br>}<br> </font></blockquote><div><br></div><div>Best regards.<br></div><div><div>Juan.</div><div></div></div></div>
</blockquote></div>