<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<div style="margin: 0px; font-size: 12pt; font-family: Calibri, Helvetica, sans-serif, serif, EmojiFont; background-color: rgb(255, 255, 255)">
<span style="margin: 0px; font-size: 10pt">Hello,</span></div>
<div style="margin: 0px; font-size: 12pt; font-family: Calibri, Helvetica, sans-serif, serif, EmojiFont; background-color: rgb(255, 255, 255)">
<br>
</div>
<div style="margin: 0px; font-size: 15px; font-family: &quot;Segoe UI&quot;, &quot;Segoe UI Web (West European)&quot;, &quot;Segoe UI&quot;, -apple-system, BlinkMacSystemFont, Roboto, &quot;Helvetica Neue&quot;, sans-serif; background-color: rgb(255, 255, 255)">
<div dir="ltr" style="margin: 0px"></div>
<div style="margin: 0px">
<div style="margin: 0px">
<blockquote style="border-left: 3px solid rgb(200, 200, 200); border-top-color: rgb(200, 200, 200); border-right-color: rgb(200, 200, 200); border-bottom-color: rgb(200, 200, 200); padding-left: 1ex; margin-left: 0.8ex; color: rgb(102, 102, 102)">
<div style="margin: 0px; font-size: 12pt; font-family: Calibri, Helvetica, sans-serif, serif, EmojiFont; color: rgb(0, 0, 0)">
<span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">Unused volume is on the new proxmox node. And this Unused logical volumes are empty, livemigration of the machine leads to immediate kernel panic and fsck
 (after disconnecting LV on second node) is not able to find any filesystem.</span><br>
</div>
</blockquote>
<div style="margin: 0px; font-size: 12pt; font-family: Calibri, Helvetica, sans-serif, serif, EmojiFont">
<span style="margin: 0px; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont"><br>
</span></div>
<div style="margin: 0px">
<div style="margin: 0px">
<div dir="ltr" style="margin: 0px">
<div style="margin: 0px">
<div style="margin: 0px">
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">What do you mean by empty? Normally, when linstor creates an additional resource, it should initiate a sync
 from the original resource to the destination resource. You cannot live migrate the resource until the sync is completed and both resources must show up as UpToDate. Did your check the status of the resource on both nodes with drbdtop ?</span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><font face="Arial, Helvetica, sans-serif"><span style="margin: 0px; font-size: 10pt">Are you&nbsp;</span><span style="margin: 0px; font-size: 13.3333px">referring</span><span style="margin: 0px; font-size: 10pt">&nbsp;to
 a kernel panic on the guest VM o/s or on the Proxmox host ?</span></font></p>
<p style="margin-top: 0px; margin-bottom: 0px"><br>
</p>
<span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont"></span>
<blockquote style="border-left: 3px solid rgb(200, 200, 200); border-top-color: rgb(200, 200, 200); border-right-color: rgb(200, 200, 200); border-bottom-color: rgb(200, 200, 200); padding-left: 1ex; margin-left: 0.8ex; color: rgb(102, 102, 102)">
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;Here is interesting, that the allocated space isn't the same on both sides.</span></p>
</blockquote>
<p style="margin-top: 0px; margin-bottom: 0px"><br>
</p>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">I think that a side effect of how ThinLVM works. Meaning , it's&nbsp; probably a case that you have written/modified/deleted
 data over the time on the original resource, so ThinLVM will increase space allocation on the LV (unless you have enabled discard option on pve), where on the new volume it will show only the actual used data as of now. You have to continuously monitor ThinLVM
 allocated space, just for this very reason. You can easily run onto serious problems, but this is not a DRBD or a LINSTOR issue anyways.</span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><br>
<span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont"></span></p>
<blockquote><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(102, 102, 102)">the resource files are shared here -&nbsp;</span><a href="https://pastebin.com/V7mjSCar" target="_blank" rel="noopener noreferrer" style="margin: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">https://pastebin.com/V7mjSCar</span></a><br>
</blockquote>
<blockquote style="border-left: 3px solid rgb(200, 200, 200); border-top-color: rgb(200, 200, 200); border-right-color: rgb(200, 200, 200); border-bottom-color: rgb(200, 200, 200); padding-left: 1ex; margin-left: 0.8ex; color: rgb(102, 102, 102)">
<p style="margin-top: 0px; margin-bottom: 0px"><br>
<span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont"></span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">the status output is</span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><br>
<span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont"></span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">drbdsetup status vm-103-disk-1</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><br>
</span></p>
<span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont"></span>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><br>
</span></p>
<span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont"></span>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">first node</span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">vm-103-disk-1 role:</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><span style="margin: 0px; font-weight: bold; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(84, 255, 255)">Primary</span></span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><br>
</span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;disk:</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><span style="margin: 0px; font-weight: bold; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(84, 255, 84)">UpToDate</span></span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><br>
</span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;pve-virt2 role:Secondary&nbsp;</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><br>
</span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;&nbsp;&nbsp;peer-disk:</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(24, 178, 24)">UpToDate</span><br>
<br>
</span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont"></span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">second node</span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><br>
</span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont"></span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">vm-103-disk-1 role:Secondary&nbsp;</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><br>
</span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;disk:</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><span style="margin: 0px; font-weight: bold; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(84, 255, 84)">UpToDate</span></span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><br>
</span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;pve-virt1 role:</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(24, 178, 178)">Primary</span></span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><br>
</span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">&nbsp;&nbsp;&nbsp;peer-disk:</span><span style="margin: 0px; font-family: monospace, serif, EmojiFont"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(24, 178, 24)">UpToDate</span></span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><br>
</p>
</blockquote>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont"></span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">Both&nbsp; resource files and the status output look good...</span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><br>
</p>
<p style="margin-top: 0px; margin-bottom: 0px"></p>
<blockquote style="border-left: 3px solid rgb(200, 200, 200); border-top-color: rgb(200, 200, 200); border-right-color: rgb(200, 200, 200); border-bottom-color: rgb(200, 200, 200); padding-left: 1ex; margin-left: 0.8ex; color: rgb(102, 102, 102)">
<span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">and the last info, I tried to resync the volume and in dmesg I have this, please note, that the amount of data to resync after --discard-my-data is far smaller
 than the volume itself</span></blockquote>
<p style="margin-top: 0px; margin-bottom: 0px"></p>
<p style="margin-top: 0px; margin-bottom: 0px"><font face="monospace"><br>
<span style="margin: 0px; font-size: 10pt"></span></font></p>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">discard-my-data does not initiate a full sync if that's what you mean. It's rather used in situations where
 split-brain has occurred, so you discard the last changes on one side in favour of the other.</span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont">If your intention is to initiate a full sync, then consider using &quot;drbdadm invalidate&quot; or recreate meta-data
 on the 2nd resource by using &quot;drbdadm create-md --force&quot;.</span></p>
<p style="margin-top: 0px; margin-bottom: 0px"><br>
</p>
<blockquote style="border-left: 3px solid rgb(200, 200, 200); border-top-color: rgb(200, 200, 200); border-right-color: rgb(200, 200, 200); border-bottom-color: rgb(200, 200, 200); padding-left: 1ex; margin-left: 0.8ex; color: rgb(102, 102, 102)">
<div style="margin: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255); display: inline !important">The proxmox nodes are connected and live
 migration works, but only for the new VMs, not the older ones.</span><br>
</div>
</blockquote>
<div style="margin: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255); display: inline !important">That's an indication that you're probably
 doing something wrong when you are trying to manually increase the replicas for the old VMs.</span></div>
</div>
<div style="margin: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255); display: inline !important">Might be easier for you to backup old
 VMs and restore them as new VMs&nbsp; via Proxmox GUI ?&nbsp;</span></div>
<div style="margin: 0px"><span style="margin: 0px; font-size: small; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255); display: inline !important"><br>
</span></div>
<div style="margin: 0px"><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255); display: inline !important">Giann</span><span style="margin: 0px; font-size: 10pt; font-family: Arial, Helvetica, sans-serif, serif, EmojiFont; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255); display: inline !important">i</span></div>
</div>
</div>
</div>
</div>
</div>
</div>
</div>
<br>
</div>
</body>
</html>