18 ноября ровно в 3.15 по киевскому времени упал наш сервак. Произошло это как раз в том момент, когда под подъездом ждало такси, которое отвозило нас в аэропорт: этим утром мы уезжали в Турцию на отдых. Хоть сервер и не вернулся с перезагрузки и выдал кучу ошибок, отменять отпуск не стали (все-таки перед этим – полтора года без отпуска) – я в тот момент надеялся, что смогу запустить сайты еще до вылета, подключившись к Вай-Фай в аэропорту Борисполь. Но, к сожалению, все мои попытки были тщетными.
Приехав в отель, даже не вселившись в номер, я сразу сел за ноутбук и подключился к серверу через консоль IP-KVM. И в этот момент я ощутил холодный пот по спине – файловая система превратилась в дырки от бублика – пропало огромное количество жизненно важных файлов, журналы доступа… Но операционка все же осталась жива, а бекапы (как я думал) делались регулярно. Поэтому восстановление работоспособности не должно было занять много времени – ну переставить систему, софт, достать файлы из бекапа. Ан-нет! Бекапы тоже оказались дохлые. И дневные, и недельные, и даже месячный. Хотя они хранились на совершенно другом сервере.
Попытки разбить рейд-массив, в надежде на то, что хоть на одной из копий сохранились нужные файлы тоже ничем не увенчались.
В общем, отдых был самым запоминающимся – с ноутбуком в лобби-баре (в номере Вай-Фай немного тормозил).
Что произошло (или могло произойти) я даже не знаю. Все, с кем мне доводилось общаться на эту тему, говорят, что ТАКОГО не бывает, ТАКОГО НЕ МОЖЕТ БЫТЬ.
2 винчестера, которые являются полными рейд-зеркалами друг друга, дают сбой ОДНОВРЕМЕННО. При этом и электроника, и механика на винте после тестирования специалистами были признаны 100% работающими. Бекапы, которые хранились на абсолютно ДРУГОМ сервере – битые. Архивы не открываются.
Вот как такое может быть?
ПС. Восстановить информацию удалось только частично – по нашему основному проекту пропали данные за полгода. Специалисты по восстановлению разводят руками – оказывается, Мускуль не самая легкая база данных для восстановления.
ППС. Мои выводы из всей этой истории таковы:
1) Гавно случается;
2) гавно случается, даже если такое гавно невозможно представить;
3) гавно случается, когда его совсем не ждешь;
4) бекапов много не бывает (я теперь храню резервные копии в 3 местах: дома, на сервере, и на отдельном бекап-сервере).
ПППС. С Новым годом! Пусть в новом году глюки обходят нас с вами стороной.
Свежие комментарии