<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Sep 1, 2016 at 9:02 AM, Igor Cicimov <span dir="ltr">&lt;<a href="mailto:igorc@encompasscorporation.com" target="_blank">igorc@encompasscorporation.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="HOEnZb"><div class="h5"><p dir="ltr"></p>
<p dir="ltr">On 1 Sep 2016 1:16 am, &quot;Mia Lueng&quot; &lt;<a href="mailto:xiaozunvlg@gmail.com" target="_blank">xiaozunvlg@gmail.com</a>&gt; wrote:<br>
&gt;<br>
&gt; Yes, Oracle &amp; drbd is running under pacemaker just in<br>
&gt; primary/secondary mode. I stopped the oracle resource during DRBD is<br>
&gt; resyncing and the oracle hangup<br>
&gt;<br>
&gt; 2016-08-31 14:38 GMT+08:00 Igor Cicimov &lt;<a href="mailto:igorc@encompasscorporation.com" target="_blank">igorc@encompasscorporation.<wbr>com</a>&gt;:<br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; On Wed, Aug 31, 2016 at 3:49 PM, Mia Lueng &lt;<a href="mailto:xiaozunvlg@gmail.com" target="_blank">xiaozunvlg@gmail.com</a>&gt; wrote:<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Hi:<br>
&gt; &gt;&gt; I have a cluster with four drbd devices. I found oracle stopped<br>
&gt; &gt;&gt; timeout while drbd is in resync state.<br>
&gt; &gt;&gt; oracle is blocked like following:<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; oracle    6869  6844  0.0  0.0 71424 12616 ?        S    16:28<br>
&gt; &gt;&gt; 00:00:00 pipe_wait<br>
&gt; &gt;&gt; /oracle/app/oracle/dbhome_1/<wbr>bin/sqlplus<br>
&gt; &gt;&gt; @/tmp/ora_ommbb_shutdown.sql<br>
&gt; &gt;&gt; oracle    6870  6869  0.0  0.1 4431856 26096 ?       Ds   16:28<br>
&gt; &gt;&gt; 00:00:00 get_write_access                 oracleommbb<br>
&gt; &gt;&gt; (DESCRIPTION=(LOCAL=YES)(<wbr>ADDRESS=(PROTOCOL=beq)))<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; drbd state<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; 2016-08-30 16:33:32 Dump [/proc/drbd] ...<br>
&gt; &gt;&gt; ==============================<wbr>===========<br>
&gt; &gt;&gt; version: 8.3.16 (api:88/proto:86-97)<br>
&gt; &gt;&gt; GIT-hash: bbf851ee755a878a495cfd93e1a76b<wbr>f90dc79442 Makefile.in build<br>
&gt; &gt;&gt; by drbd@build 2012-06-07 16:03:04<br>
&gt; &gt;&gt; 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent B r-----<br>
&gt; &gt;&gt;   ns:2777568 nr:0 dw:492604 dr:3305833 al:4761 bm:439 lo:31 pe:613<br>
&gt; &gt;&gt; ua:0 ap:31 ep:1 wo:d oos:4144796<br>
&gt; &gt;&gt;                [======&gt;.............] sync&#39;ed: 35.7% (4044/6280)M<br>
&gt; &gt;&gt;                finish: 0:10:19 speed: 6,680 (3,664) K/sec<br>
&gt; &gt;&gt; 1: cs:SyncSource ro:Secondary/Secondary ds:UpToDate/Inconsistent B r-----<br>
&gt; &gt;&gt;   ns:3709600 nr:0 dw:854764 dr:7632085 al:7689 bm:3401 lo:38 pe:3299<br>
&gt; &gt;&gt; ua:38 ap:0 ep:1 wo:d oos:6204676<br>
&gt; &gt;&gt;                [=======&gt;............] sync&#39;ed: 41.5% (6056/10340)M<br>
&gt; &gt;&gt;                finish: 0:22:14 speed: 4,640 (10,016) K/sec<br>
&gt; &gt;&gt; 2: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent B r-----<br>
&gt; &gt;&gt;   ns:3968883 nr:0 dw:127937 dr:5179641 al:190 bm:304 lo:1 pe:139 ua:0<br>
&gt; &gt;&gt; ap:7 ep:1 wo:d oos:2124792<br>
&gt; &gt;&gt;                [============&gt;.......] sync&#39;ed: 66.3% (2072/6144)M<br>
&gt; &gt;&gt;                finish: 0:06:12 speed: 5,692 (6,668) K/sec<br>
&gt; &gt;&gt; 3: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent B r-----<br>
&gt; &gt;&gt;   ns:89737 nr:0 dw:439073 dr:2235186 al:724 bm:35 lo:0 pe:45 ua:0 ap:7<br>
&gt; &gt;&gt; ep:1 wo:d oos:8131104<br>
&gt; &gt;&gt;                [&gt;....................] sync&#39;ed:  1.6% (7940/8064)M<br>
&gt; &gt;&gt;                finish: 10:44:09 speed: 208 (204) K/sec (stalled)<br>
&gt; &gt;&gt;<br>
&gt; &gt;&gt; Is this a known bug and fixed in the further version?<br>
&gt; &gt;&gt; ______________________________<wbr>_________________<br>
&gt; &gt;&gt; drbd-user mailing list<br>
&gt; &gt;&gt; <a href="mailto:drbd-user@lists.linbit.com" target="_blank">drbd-user@lists.linbit.com</a><br>
&gt; &gt;&gt; <a href="http://lists.linbit.com/mailman/listinfo/drbd-user" target="_blank">http://lists.linbit.com/<wbr>mailman/listinfo/drbd-user</a><br>
&gt; &gt;<br>
&gt; &gt;<br>
&gt; &gt; Maybe provide more details about the term &quot;cluster&quot; you are using. Do you<br>
&gt; &gt; have DRBD under control of crm like Pacemaker? If so are you running DRBD in<br>
&gt; &gt; dual primary mode maybe? And when does this state happen and under what<br>
&gt; &gt; conditions i.e restarted a node etc.</p>
</div></div><p dir="ltr">What os is this on? Can you please paste the output of &quot;crm status&quot; (or pcs if you are on rhel7) and &quot;crm_mon -Qrf1&quot;<br>
</p>
<br>______________________________<wbr>_________________<br>
drbd-user mailing list<br>
<a href="mailto:drbd-user@lists.linbit.com">drbd-user@lists.linbit.com</a><br>
<a href="http://lists.linbit.com/mailman/listinfo/drbd-user" rel="noreferrer" target="_blank">http://lists.linbit.com/<wbr>mailman/listinfo/drbd-user</a><br>
<br></blockquote><div> </div></div>Another thing I forgot .... I find it odd that the sync for only one of the devices is stalled. Are they all using the same replication link? Any networking issues or network card errors you can see? </div></div>