Ostatnie dni w polskim internecie to sporo różnego rodzaju odwołań do awarii, jaka miała miejsce w 2be.pl. Klienci stracili swoje dane, pocztę i strony internetowe. Powodem były źle wprowadzone wewnętrzne procedury bezpieczeństwa, brak sprawnie działających kopii zapasowych i niedopatrzenia organizacyjne.
Korzystając z tej, bądź co bądź, przykrej okazji, specjalnie dla Was, przeprowadziłem wywiad z CEO dhosting.pl – firmy hostingowej, która jest partnerem bloga od kilku już lat – Panem Rafałem Kuśmidrem. Dowiecie się z niego, w jaki sposób hostingodawca powinien dbać o Wasze dane oraz jak wyglądają zabezpieczenia i standardy pracy wdrażane przez wiodące hostingi w Polsce i na całym świecie.
Wywiad
[webroad Michał Kortas] Trzy tygodnie temu, jak grom z jasnego nieba, spadła na nas wszystkich informacja o awarii w 2be.pl. Czy można nazwać to już obecnie największą, dotychczasową katastrofą, jaka miała miejsce u polskich usługodawców hostingu?
[dhosting.pl Rafał Kuśmider] W Polsce do tej pory największą awarię zaliczył Beyond i ich e24cloud, który potrzebował aż 8 dni na odzyskanie danych. Niestety 2be.pl niechlubnie przebił ich w tym rankingu, a licznik dni cały czas bije.
[w] Z tego co odnotowałem, nadal większość usług nie działa. Przypomnę, że minęły już ponad trzy tygodnie od awarii. Jak można dopuścić do takiej sytuacji?
[d] Na bieżąco śledzę ostatnie wydarzenia firmy 2be i pewnie jak większość z Was przeczytaliśmy te same newsy – ostatni to wywiad z byłym administratorem firmy 2be, który nieco wyjaśnia – http://hostingnews.pl/oswiadczenie-bylego-administratora-grupy-adweb/. Po wywiadzie można stwierdzić, że mieli administratora, który temat ogarniał i znał się z na swojej pracy. Pewnie można było to zabezpieczyć lepiej, zawsze można. Jedno jest pewne – w firmie 2be zabrakło procedur i ludzi, którzy zajmowali się na co dzień serwerami i na bieżąco rozwiązywali problemy. Ciężko mi sobie wyobrazić, żeby tak ważne zadanie pełniła tylko jedna czy dwie osoby. W naszej branży musimy tworzyć systemy redundantne – nie tyczy się to tylko łącz, serwerów czy macierzy dyskowych, ale tak samo tyczy się to personelu. Jeżeli nie ma jednej osoby, druga ją zastępuje. Od tego są procedury w firmie i przewidywanie takich sytuacji.
[w] Czy tłumaczenia firmy jak niżej, to oznaka dobrego podejścia do klienta?
Straciliśmy Administratora, który zabrał ze sobą wszystkie dane.
[d] To jest żadne tłumaczenie. Jeżeli ktoś prowadzi firmę kurierską i zepsuje mu się samochód, którym rozwozi paczki, to czy powie on swoim klientom, że do czasu naprawy samochodu jego paczka nie zostanie dostarczona? No nie. Takie przedsiębiorstwo posiada zapasowy samochód i użyje go właśnie w takiej sytuacji awaryjnej – właśnie po to, żeby nie stracić klientów.
[w] W jaki sposób dhosting.pl utrzymuje kontakt z klientami? Czy kontakt z biurem obsługi jest całodobowy, czy jak w przypadku 2be.pl, tylko do godziny 16:30?
[d] Nasza infolinia jest czynna co prawda do godziny 17:00, ale można się z nami skontaktować przez 24 godziny na dobę. Każdy nasz klient posiada dedykowany portal, przez który można zgłaszać do nas zapytania techniczne lub handlowe. Średni czas odpowiedzi to około 5 minut! Oczywiście w przypadku bardziej złożonych zapytań lub zwiększonego ruchu może on trwać trochę dłużej.
[w] Jak podano w oficjalnym komunikacie, przywracane są stany witryn z – uwaga – czerwca 2015. Nie jestem sobie w stanie wyobrazić sytuacji, kiedy prowadząc sklep internetowy, z dnia na dzień tracę wszelkie informacje o zamówieniach, klientach i produktach. Takie i inne, podobne, miały jednak miejsce. Czy można to w racjonalny sposób wytłumaczyć?
[d] Myślę, że wiele firm w tym momencie zamyka swoją działalność. Jeżeli ktoś prowadzi sklep w Internecie i traci system, w którym jego klienci składają zamówienia, przechowują historię zamówień, a dodatkowo do kosza idą dziesiątki godzin jego ciężkiej pracy, które poświęcił na opisy swoich produktów i wykonane zdjęcia, to odtworzenie tego od zera jest praktycznie nie możliwe. Znamy wielu klientów, którzy latami dopracowują swoje sklepy, rozwijają w nich moduły, piszą własne, wrzucają coraz to nowsze mechanizmy i integrują się z systemami innych firm. Nie da się tego odtworzyć w tydzień, miesiąc, a może nawet w rok! Nie wyobrażam sobie, abyśmy mogli stracić kod źródłowy naszego dPanelu – autorskiego panelu administracyjnego. Nad jego ostatnim wydaniem pracowaliśmy 2 lata. Kopie bezpieczeństwa naszych najważniejszych corowych systemów mamy w kilku miejscach na świecie. Wykonywana jest cyklicznie i automatycznie. Z tego co widać, 2be.pl nadal nie uruchomiło swojej strony ani panelu.
[w] W wywiadzie z hostingnews Pan Bartosz Juszczyk, twarz 2be.pl, powiedział, że jedyny wykonywany backup, to ten, który wykonywany był na drugą maszynę fizyczną. Jak oceniacie ten fakt?
[d] W dhosting.pl wykonujemy backup do dwóch lokalizacji – naszej głównej, a następnie do lokalizacji zapasowej, gdzie posiadamy także kopie najważniejszych systemów. Myślę, że w tej historii nie zawiodło to, że nie było drugiej lokalizacji. Tu zawiodły procedury, brak wiedzy na temat bezpieczeństwa i logicznego rozdzielenia usług. Do serwerowni 2be nikt się nie włamał, nie wyniósł serwerów, ani nie potraktował ich ciężkim przedmiotem. Ktoś po prostu zalogował się poprawnymi danymi i nadpisał dane zerami. Zatem nawet gdyby 2be.pl miał kopie bezpieczeństwa w innej lokalizacji, to posiadając dane do serwera, ten ktoś dalej mógłby się zalogować i usunąć dane. Problem nie dotyczył zatem bezpieczeństwa fizycznego.
[w] Odniosę się raz jeszcze do w/w wywiadu:
Serwery będą zabezpieczone jak nigdy. (…) Tak na szybko, to na pewno hasła będzie znał tylko 1 admin. Więc zawsze będzie wiadomo, kto jest winny jeśli coś się stanie.
Czy w razie kolejnego wypadku, nie będzie to płacz nad rozlanym mlekiem? Nie powinno się zabezpieczać takich sytuacji zanim się wydarzą? Jak powinno się, w skrócie, chronić przed utratą jakichkolwiek danych i dostępów do serwerów w szanującej się serwerowni?
[d] A co w przypadku, gdy ten jeden admin znów przestanie być dostępny z powodu choroby lub wypowie umowę? Błędne koło.
Serwery backupowe powinny być odizolowane od środowiska produkcyjnego. Nawet w momencie włamania na jeden z serwerów, na którym znajdują się klienci, nie powinno być możliwości uzyskania dostępu do danych z kopii bezpieczeństwa. Backup jest najważniejszy – bo właśnie on pozwala wyjść z kryzysowej sytuacji. Dodatkowo kwestia wydzielenia uprawnień dla odpowiednich osób. W naszej firmie nie outsourcujemy prac administracyjnych, ale nawet gdyby tak było, zleceniodawca nie uzyskałyby dostępu do kopii bezpieczeństwa pod żadnym pozorem. Zresztą, po co mieliby mieć do nich dostęp? Za to powinna być odpowiedzialna inna komórka firmy. W naszym przypadku kopie bezpieczeństwa są dostępne tylko dla administratorów najwyższego szczebla uprawnień. Mimo to nawet operator, który znajduje się na pierwszej linii wsparcia, może przywrócić kopię bezpieczeństwa klientowi i tylko temu, który o to prosi. Od tego jest dedykowany system, który umożliwia przywrócenie kopii bezpieczeństwa. Na każdym etapie dodatkowo weryfikujemy uprawnienia i ich ważność.
[w] Rozumiem, że dla Was przywrócenie danych „z wczoraj” to nie jest problem?
[d]Ani z wczoraj ani z innej daty :-) Zazwyczaj kopie bezpieczeństwa trzymamy od 3 do 7 dni w zależności od tego, jaką usługę posiada użytkownik. Jest też możliwość wydłużenia czasu przechowywania kopii bezpieczeństwa na życzenie, zazwyczaj za drobną opłatą dodatkową.
[w] W jaki sposób jesteście zabezpieczeni, przed ewentualną utratą personelu?
[d] W każdej firmie jest rotacja. Dotyczy to małych i większych firm. Może w małych firmach ona występuje rzadziej, ale w tych większych jest jednak częstsza. Znów się powtórzę – od tego są procedury. Jeżeli tracimy administratora, zatrudniamy niezwłocznie następnego. Posiadamy kilku administratorów, którzy współpracują z nami od wielu lat oraz wielu młodszych administratorów, którzy rozwijają swoje umiejętności i są odpowiedzialni za mniejsze projekty. Dopiero po przejściu wszystkich szkoleń i testów będą mogli uzyskać wyższe uprawnienia i być odpowiedzialni za ważniejsze systemy w firmie. Nawet gdybyśmy stracili kilku jednego dnia, poradzilibyśmy sobie z bieżącymi problemami, a kolejnych zatrudnili zgodnie z procedurami i przeprowadzali ich weryfikację, szkolenie. Skorzystanie z usług firmy zewnętrznej w przypadku osób mających tak rozległe uprawnienia w ogóle nie wchodzi w rachubę.
[w] Co w przypadku kompletnego zniszczenia serwerowni? W jakim czasie jesteście w stanie przywrócić pełnię usług?
[d] W kilka dni. Również na to mamy procedurę. Niestety kopiowanie plików z macierzy backupowych trochę trwa i tego procesu nie da się przyśpieszyć. Natomiast i tą ewentualność musieliśmy brać pod uwagę tworząc polityki bezpieczeństwa naszej firmy. Natomiast jeszcze w tym roku planujemy uruchomienie w chmurze najważniejszych naszych usług m.in. poczty i panelu administracyjnego w dwóch lokalizacjach co zapewni 100% dostępności tych usług, nawet gdy jedna z lokalizacji będzie niedostępna. W przyszłości obejmie to również pozostałe usługi.
[w] Ilu klientów zaufało Wam dotychczas?
[d] Zbliżamy się małymi kroczkami do 35 tysięcy.
[w] Co możecie polecić osobom i firmom poszkodowanym tego feralnego dnia?
[d]Na rynku jest wiele firm hostingowych, które oferują swoje usługi. Uważniej czytajcie nie tylko ofertę i nie porównujcie tylko cen usług. Firmy, które oferują wyższe ceny usług, zazwyczaj mają do zaoferowania coś więcej niż tylko większą wypłatę dla swoich pracowników J Niestety nadal wiele osób patrzy tylko na cenę i kupuje tanią usługę najczęściej bez wsparcia technicznego doświadczonych techników, czy bez kopii bezpieczeństwa (takiej, którą można przywrócić).
[w] A może na koniec klika zdań od Was, do Czytelników webroad? ;-)
[d] Oby mniej takich „awarii” w Polsce i na świecie. Podobne historie może czyta się z dużą ciekawością, bo to coś nowego na naszym rynku, ale trzeba pamiętać, że za każdą taką historią stoi dramat wielu osób i firm, które straciły lata swojej ciężkiej pracy. Trudno sobie nawet wyobrazić skalę realnych strat. Wbrew pozorom jedna z rad Pana Juszczyka była słuszna: może warto mieć mniej zaufania do swojego dostawcy hostingu i tą jedną kopię bezpieczeństwa trzymać jednak na swoim dysku? Czy nie będziecie dzięki temu spać spokojniej? Życzymy wam, żeby ta ostatnia kopia bezpieczeństwa nigdy nie była Wam potrzebna.
Zakończenie
Tym miłym akcentem kończymy wywiad. Z mojej strony dodam, a właściwie potwierdzę, że lepiej jest dmuchać na zimne i samemu robić częste kopie bezpieczeństwa.
Ludzie bowiem dzielą się na tych, którzy robią backupy oraz na tych, którzy będą robić backupy ;-)
Tagi: 2be.pl • awaria • dhosting • featured • Rafał Kuśmider • wywiad
Ostatnie zdanie podsumowało wszystko. :)
Sam używam Akeba Backup, który robi mi codziennie kopie moich witryn i automatycznie uploaduje na mojego NAS’a w domu.
Natomiast sam NAS usuwa sam kopie zapasowe sprzed 7 dni.
Artykuł jak najbardziej na plus. Współczuję klientom tej firmy.
NAS’a fajnie mieć, ale można się wesprzeć nawet Dropboxem czy OneDrive i to już znacząco zwiększy nasze bezpieczeństwo. Nie mówiąc o kopiach lokalnych..
Sprawdzam to co podrzuciłeś czyli Akeeba Backup ;>
Prowadzę sklep internetowy i szczególnie spodobały mi się dwa fragmenty:
„To jest żadne tłumaczenie. Jeżeli ktoś prowadzi firmę kurierską i zepsuje mu się samochód, którym rozwozi paczki, to czy powie on swoim klientom, że do czasu naprawy samochodu jego paczka nie zostanie dostarczona? No nie. Takie przedsiębiorstwo posiada zapasowy samochód i użyje go właśnie w takiej sytuacji awaryjnej – właśnie po to, żeby nie stracić klientów.”
– Raz klient zadzwonił, że nie otrzymał paczki, gdy skontaktowaliśmy się z firmą przewozową otrzymaliśmy informację – o zgrozo – o zepsutym aucie i dostawie za 2 dni. Firma nie należała wcale do najmniejszych. Hehe, ale tu się żarty skończyły i współpracę faktycznie zakończyliśmy.
„[w] Jak podano w oficjalnym komunikacie, przywracane są stany witryn z – uwaga – czerwca 2015. Nie jestem sobie w stanie wyobrazić sytuacji, kiedy prowadząc sklep internetowy, z dnia na dzień tracę wszelkie informacje o zamówieniach, klientach i produktach. Takie i inne, podobne, miały jednak miejsce. Czy można to w racjonalny sposób wytłumaczyć?”
– Gdyby to się przydarzyło mojemu sklepowi to skończyłoby się chyba na ukatrupieniu siebie lub kogoś. Dreszcz po przeczytaniu tego fragmentu większy niż przy filmach Hitchcock’a.
„Życzymy wam, żeby ta ostatnia kopia bezpieczeństwa nigdy nie była Wam potrzebna.”
– Dziękuję. :)
Pomysł na wywiad fajny, ale jednostronność z niego płynąca i wydźwięk marketingowy nieco psują efekt końcowy.
A co Ty myślałeś : )
Jestem Klientem dHostingu już od prawie czterech lat, posiadam dosyć mocno rozbudowany w parametrach DVPS. Proszę mi nie zarzucać kryptoreklamy, bo nie mam w tym żadnego interesu. Nigdy i nikt, nie zaoferował mi lepszych usług niż dhosting. Zwłaszcza nowy dPanel, to jest po prostu miazga. Dwoma kliknięciami mogę stworzyć, lub przywrócić backup. Pomoc techniczna, to też nie są żadne mrzonki. Zdarzało się, że pisałem do Helpdesk24 o 3:00 w nocy i po kilku minutach miałem odpowiedź. W takich sytuacjach wiem, że tam naprawdę ktoś siedzi, czuwa nad sytuacją. Nie wyobrażam sobie przesiadki do innego usługodawcy. Gdy na innych usługach można było o tym tylko pomarzyć, w dhostingu był już HTTP2, oczywiście jest już od dawna PHP7. Dhosting nie jest usługą najtańszą, ale zdecydowanie polecam.
komentarze stworzone przez diwkus ghostery zablokowało sh udostępniaj dostęp i odwierz udostrepniaj dostem i odswierz