<div dir="ltr"><div class="gmail_default" style="font-size:small">Hi Michael,</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Thanks for the summary - you haven't had much fun this weekend - sounds awful! :-(</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Everything is okay now - thanks again for everything you continue to do for the project.</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">MfG</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small">Darren</div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small"><br></div><div class="gmail_default" style="font-size:small"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, 7 Dec 2020 at 08:13, Michael Stauber <<a href="mailto:mstauber@blueonyx.it">mstauber@blueonyx.it</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Hi Darren,<br>
<br>
> The repo problem seems to be back again - is there a workaround that we<br>
> can use during outages?<br>
> <br>
> Could not retrieve mirrorlist<br>
> <a href="http://updates.blueonyx.it/index.php?release=7&arch=x86_64" rel="noreferrer" target="_blank">http://updates.blueonyx.it/index.php?release=7&arch=x86_64</a> error was<br>
> <br>
> 14: curl#56 - "Callback aborted"<br>
<br>
That should be working again by now.<br>
<br>
We had a little hickup with three of our four virtualization nodes<br>
restarting. This took down ~30 VPS's including primary and secondary DNS<br>
and two mirrors. A third mirror and the tertiary DNS is in another<br>
location. And it took down the list, most of the <a href="http://blueonyx.it" rel="noreferrer" target="_blank">blueonyx.it</a> webpages<br>
and a couple of other odds and sods as well.<br>
<br>
After the nodes had rebooted and all VPS's that were supposed to be<br>
running were running. So everything seemed to be fine again.<br>
<br>
But that wasn't really the case.<br>
<br>
Within the hour all DNS records dropped due to short TTL and the primary<br>
and secondary DNS no longer being connected to the internet. The<br>
tertiary DNS isn't really redundant, so it couldn't take over either.<br>
<br>
Why did all VPS's drop off the net despite them running? During a<br>
Container restart on OpenVZ 7 the CT's network disposition is<br>
ARP-broadcasted and it looks like the switch lost these sometime after<br>
the VPS's initially had come back. So any IP packets destined for the<br>
VPS's ended up in nirvana as the last hop wasn't routed to where it<br>
should go. Restarting all VPS's *again* and triggering new ARP seeding<br>
solved that.<br>
<br>
I'm in the process of setting up new mirrors anyway (they need a more up<br>
to date base OS than they currently have) and while I do so I'll make<br>
sure that our tertiary DNS can work independently to prevent complete<br>
mirror outages such as this in the future.<br>
<br>
-- <br>
With best regards<br>
<br>
Michael Stauber<br>
_______________________________________________<br>
Blueonyx mailing list<br>
<a href="mailto:Blueonyx@mail.blueonyx.it" target="_blank">Blueonyx@mail.blueonyx.it</a><br>
<a href="http://mail.blueonyx.it/mailman/listinfo/blueonyx" rel="noreferrer" target="_blank">http://mail.blueonyx.it/mailman/listinfo/blueonyx</a><br>
</blockquote></div>