Казалось бы - что может быть между ними общего? Первый - телефон, а второй - так вообще нереляционная БД. Но сегодня они у меня потрясающе одновременно поломались, в 17:50 (я по еррор логу и по логу общения с женой сверил =)
Раньше я думал, что кирпичами могут только Айфоны и Андроиды становиться, да и то - после неумелого вмешательства. Оказывается смартфон от Nokia тоже способен на такую подлость. Всего то навсего, по пути за чаем нужно было что-то в интернете посмотреть - а он заребутился, потом ещё раз при загрузке и всё... кирпич =)
Гораздо интересней получилось с MongoDB. Её курсоры решили массово поотваливаться как раз в тот момент, когда трансатлантический борт с нашим веб-архитектором и главным (его ещё можно назвать единственным) админом отрывался от взлетной полосы Мюнхенского аэропорта. Впереди у них был 13 часовой перелёт в Сан-Франциско. Они отправились, внимание, на MongoDB конференцию =) Это уже второй случай, заставляющий меня думать о том, что у серверов нашего админа есть какие-то мысли и чувства, они его любят =) В прошлый раз мы долго готовились к переносу парочки развесистых продукт сайтов со stand-alone сервера на кластер. Перенесли, всё прекрасно заработало, но на следующее утро сервер затосковал по отобранным сайтам и ушёл в небытие, и не хотел грузится в течении 3-4 часов.
...
Дома никак не мог заставить телефон ожить. А узнав что гарантия на него кончилась более полугода назад - в сердцах разобрал его, посдувал пыль, поудивлялся какое оно всё теперь маленькое и собрал обратно. Но похоже китайцы на уроках труда собирают телефоны более тщательно чем я: после моей сборки зазоры, как бы лучше сказать... появились =) Чувствую что скоро ещё одна телефоноеденица в моём лице отойдёт от Nokia к HTC или Sumsung.
Продолжение истории с MongoDB тоже интереснее. Мне на всякий случай оставили везде рута. На мои вопросы - а что делать в случае чего - админ отвечал "всё будет хорошо" =)
Всё действительно было неплохо: после небольшой паники, гугления и чтения документации (а тем временем меня уже и наш QA робко спрашивал - почему 500 ошибок много, и office admin передавал жалобы, и кастомер суппорт стучался, в надежде меня "уведомить") достал рута и принялся по очереди рестартовать инстансы. Не помогло, попробовал ещё пару вариантов рестарта, тоже не помогло, с удовлетворением отметил про себя работу арбитра: кто-то из реплика сета быстро и незаметно становился мастером. Вспомнил про второй набор MongoDB серверов, семантически отделенный от основного, порестартовал и их. Порестартовал также nginx, начиная понимать что с БД то всё в порядке, проблема (как и неоднократно уже происходило) с драйвером под php. Отключил использование слейва, отключил чуть-чуть функциональности. Помогло. Обратил наконец внимание на чат жены, которая меня уже давно призывала к ответу, когда же я собираюсь выходить и что она меня уже ждёт =)
