SkyPass - Problemy z blokowanymi połączeniami – Szczegóły incydentu

Wszystkie systemy sprawne

Problemy z blokowanymi połączeniami

Rozwiązany
Poważna awaria
Wystąpił w dniu 2 miesiące temuTrwało około 18 godzin

Dotknięty

Polska - Warszawa

Poprawne działanie z 9:27 PM do 10:07 PM, Poważna awaria z 10:07 PM do 10:37 PM, Poprawne działanie z 10:37 PM do 3:38 PM

Core-Network

Poprawne działanie z 9:27 PM do 10:07 PM, Poważna awaria z 10:07 PM do 10:37 PM, Poprawne działanie z 10:37 PM do 3:38 PM

SkillHost

Poprawne działanie z 9:27 PM do 10:07 PM, Poważna awaria z 10:07 PM do 10:37 PM, Poprawne działanie z 10:37 PM do 3:38 PM

PL - VPS Nodes

Poprawne działanie z 9:27 PM do 10:07 PM, Poważna awaria z 10:07 PM do 10:37 PM, Poprawne działanie z 10:37 PM do 3:38 PM

PL - VDS Nodes

Poprawne działanie z 9:27 PM do 10:07 PM, Poważna awaria z 10:07 PM do 10:37 PM, Poprawne działanie z 10:37 PM do 3:38 PM

IceHost

Poważna awaria z 9:27 PM do 10:37 PM, Poprawne działanie z 10:37 PM do 3:38 PM

Aktualizacje
  • Rozwiązany
    UTC
    Rozwiązany

    Przeprowadziliśmy szczegółową analizę przyczyny problemów występujących w dniach 26–27.06.

    Źródłem incydentu okazało się nieprawidłowe zachowanie mechanizmów ochrony podczas bardzo specyficznego typu ataków TCP. W określonych warunkach prowadziło to do duplikowania pakietów ARP. Ze względu na wykorzystanie w naszej infrastrukturze technologii EVPN skutkowało to zakłóceniami w działaniu części usług.

    Diagnostyka była utrudniona, ponieważ problem był niereprodukowalny – nawet przy odtworzeniu identycznego ruchu nie występował ponownie.

    Wdrożyliśmy poprawki, które całkowicie eliminują przyczynę incydentu. Od momentu ich wdrożenia infrastruktura działa stabilnie i nie obserwujemy ponownego występowania problemu.

    W ramach rekompensaty wszystkim aktywnym serwerom zlokalizowanym w Polsce zostały automatycznie przyznane 4 dodatkowe dni ważności usługi.

    Przepraszamy za wszelkie niedogodności oraz dziękujemy za cierpliwość i zaufanie.

  • Zidentyfikowany
    UTC
    Zidentyfikowany

    Konieczne jest wykonanie restartu urządzeń filtrujących, odbędzie się on o godzinie 17:55, możliwe jest wystąpienie jednorazowego zerwania aktywnych sesji.

  • Monitorowanie
    UTC
    Monitorowanie

    Po wcześniejszej poprawie sytuacji problem z łącznością wystąpił ponownie. Wdrożyliśmy kolejne środki zaradcze mające na celu wyeliminowanie przyczyny incydentu i obecnie monitorujemy działanie usług.

    Nasz zespół na bieżąco obserwuje sytuację, aby potwierdzić pełną stabilność środowiska. O kolejnych zmianach będziemy informować w następnych aktualizacjach.

    Przepraszamy za wszelkie niedogodności i dziękujemy za cierpliwość.

  • Rozwiązany
    UTC
    Rozwiązany
    This incident has been resolved.
  • Monitorowanie
    UTC
    Monitorowanie

    Wdrożyliśmy działania naprawcze i obecnie monitorujemy sytuację, aby potwierdzić pełną stabilność usług.

    Będziemy nadal obserwować infrastrukturę i na bieżąco informować o wszelkich zmianach. Dziękujemy za cierpliwość i przepraszamy za wszelkie niedogodności.

  • Analiza
    UTC
    Analiza

    Obecnie obserwujemy problemy z łącznością, które mogą wpływać na dostępność części naszych usług.

    Nasz zespół aktywnie analizuje przyczynę problemu i pracuje nad jego jak najszybszym usunięciem. Przepraszamy za wszelkie niedogodności i będziemy na bieżąco publikować kolejne aktualizacje.

  • Monitorowanie
    UTC
    Monitorowanie
    We implemented a fix and are currently monitoring the result.